logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

从自注意力到百万上下文:Transformer在大模型推理中的工程取舍

线上长prompt直接打爆显存,根源是Transformer的KV Cache。从一次OOM复盘出发,拆解自注意力、位置编码、多头注意力、Decoder-only的选择依据,并深入FlashAttention分块策略、KV Cache压缩和长上下文优化,给出可落地的显存控制与推理加速方案。

线上大模型推理被KVCache逼停:从显存天堑到分布式缓存的工程复盘

复盘一次因KVCache膨胀引发的线上事故,拆解三级缓存架构、Block管理、分布式池化与调度亲和性的工程取舍,给出配置调优与核心监控指标,避开缓存陷阱。

#vLLM
一问一答,轻松搞懂机器学习常见算法

以一问一答的交互形式,详细介绍机器学习常见算法。涵盖监督学习(线性回归、逻辑回归、决策树、随机森林、SVM、KNN、朴素贝叶斯、梯度提升树)和无监督学习(K均值)的核心思想、优缺点及适用场景,并给出选型建议,比较传统算法与深度学习的关系,帮助读者快速建立实用认知。

#机器学习
从通义法睿到LegalOne:大模型法律应用的工程落地与避坑指南

本文从后端工程视角,分享大模型在法律场景落地的关键实践,涵盖API选型、流式调用、错误处理、重试策略、RAG优化、本地部署与可观测性。结合通义法睿、LegalOne等真实案例,讲清楚每个环节的判断依据与踩坑经验,帮助开发者快速搭建生产级法律AI系统。

#RAG#vLLM
【Java面试实录】PC游戏AI客服系统开发:从Spring AI到RAG架构的深度技术剖析

本文通过一场互联网大厂Java开发工程师面试,深度解析PC游戏场景下的AI客服系统开发技术栈,涵盖Spring AI、RAG架构、向量数据库、Agent智能代理等核心技术,提供完整的代码示例和架构设计思路。

#RAG
Spring AI RAG与向量数据库在加密货币交易智能客服中的实战应用

本文通过模拟互联网大厂Java面试场景,深入探讨Spring AI RAG技术与向量数据库在加密货币交易智能客服系统中的实战应用。包含完整的面试对话、技术解析和代码示例,涵盖RAG架构、向量数据库集成、会话记忆管理和防幻觉机制等核心知识点。

#RAG
【Spring AI + Thymeleaf】美业服务智能客服系统面试实录:从RAG到模板引擎的深度解析

本文通过模拟互联网大厂Java面试场景,深度解析Spring AI和Thymeleaf在美业服务智能客服系统中的应用。包含RAG技术原理、向量数据库集成、模板引擎优化等实战内容,提供完整的代码示例和架构设计建议。

#RAG
跨境物流AI智能客服与监控体系 - Java面试深度解析

一篇以面试对话形式展现的Java技术文章,深度解析跨境物流场景下的AI智能客服RAG架构和Prometheus监控体系,包含技术原理、实战应用和性能优化。

#AI#RAG
Java面试深度解析:房产金融系统中的Hibernate优化与AI智能客服实战

本文通过模拟互联网大厂Java面试场景,深度解析房产金融系统中数据库ORM优化和AI智能客服技术,包含Hibernate性能调优、Spring Data JPA实战、向量数据库应用、RAG架构实现等核心技术点。

#RAG
征信系统Java面试:序列化与AI智能体技术深度解析

本文通过模拟征信系统Java开发面试场景,深度解析序列化技术和AI智能体在金融领域的应用,包含Jackson、Protobuf性能对比,以及RAG架构在征信问答系统中的实践案例。

#AI#RAG
    共 200 条
  • 1
  • 2
  • 3
  • 20
  • 请选择