本文记录了作者在蚂蚁集团AI Coding笔试中，2小时内完成大模型推理HTTP网关的实现过程。文章详细介绍了动态权重算法设计、工程化实践和压测验证，分享了与AI协作的编程经验。作者强调AI虽提升效率，但工程化思维仍是核心，并提出了流式响应、KV Cache感知等优化方向。该实战展示了人机协作的高效开发模式，为AI时代工程师能力建设提供了参考。

大模型幻觉指模型生成看似合理但虚假的内容，源于训练目标（预测token而非验证事实）、生成机制（误差累积）及缺乏"未知"反馈。解决方法包括RAG技术（提供参考文档变"闭卷"为"开卷"）和Prompt工程（设定知识边界、要求引用原文、调整温度参数）。完全消除不可能，但可控制到可接受范围。需将大模型视为"表达力强但记忆不可靠的助手"，引导其基于参考而非记忆工作。

Embedding是将文字转化为数字向量的过程，使计算机能处理语义信息。其核心原理是通过分布假说，让语义相近的词在向量空间中距离更近。经典例子"国王-男人+女人≈女王"展示了向量运算能捕捉语义关系。余弦相似度比欧氏距离更适合衡量语义相似性，因为它关注向量方向而非长度。不同Embedding模型在维度和性能上各有优劣，如OpenAI的1536维模型表达力强，而M3E-base更适

RAG（检索增强生成）技术通过离线索引和在线生成两阶段优化大模型问答效果。离线阶段将文档切分（如500字块+100字重叠）并向量化存储；在线阶段混合向量检索与关键词检索，过滤低相关性内容后送入大模型生成回答。RAG解决了直接输入长文档导致的成本高、注意力分散和幻觉增多问题，尤其适合需要精准引用的场景（如课程问答）。其核心优势在于让模型仅处理相关片段而非全部文档，平衡了效果与成本。但需注意文档切分策

本文针对大模型API调用中的单点故障和限流问题，提出了一个支持负载均衡与容灾的HTTP网关设计方案。该网关通过责任链模式实现多层处理：鉴权层验证客户端权限，限流层采用滑动窗口控制请求频率，路由层按模型选择后端，负载均衡层通过权重轮询策略分配请求（根据API KEY配额设置权重），健康检查层定期检测并自动摘除故障节点。相比直接调用API，该方案解决了单KEY限流、配额不均、故障排查困难等问题，可显著

大模型在多轮对话中依赖外部记忆机制，核心限制来自上下文窗口。BufferMemory全量存储对话历史，适合短对话和技术问答；SummaryMemory通过摘要压缩历史，支持长闲聊但可能丢失细节。128K大窗口存在注意力稀释问题，上下文过长会引发成本激增、早期信息遗忘及注意力分散。需根据场景权衡记忆深度与效率：精确性要求高的场景选择BufferMemory，长对话优先考虑SummaryMemory。

Token作为计费单位，反映计算量，中英文Token比例不同。Temperature控制输出随机性，Top-p限制候选词范围，建议先固定Top-p再调Temperature。流式输出提升响应感知速度，优于普通请求。SSE比WebSocket更轻量，适合单向AI回答场景。生产环境需注意Nginx代理配置和API密钥安全。

Spring IoC核心机制解析控制反转（IoC）将对象创建权交给容器，依赖注入（DI）实现解耦，推荐构造器注入方式。容器选择上，ApplicationContext比BeanFactory功能更全面，适合实际开发场景。Bean生命周期包含实例化、属性赋值、初始化、销毁四个阶段，每个阶段都提供扩展点。循环依赖通过三级缓存解决单例Bean问题，但构造器注入导致的循环依赖无法处理。

大模型幻觉指模型生成看似合理但虚假的内容，源于训练目标（预测token而非验证事实）、生成机制（误差累积）及缺乏"未知"反馈。解决方法包括RAG技术（提供参考文档变"闭卷"为"开卷"）和Prompt工程（设定知识边界、要求引用原文、调整温度参数）。完全消除不可能，但可控制到可接受范围。需将大模型视为"表达力强但记忆不可靠的助手"，引导其基于参考而非记忆工作。

Embedding是将文字转化为数字向量的过程，使计算机能处理语义信息。其核心原理是通过分布假说，让语义相近的词在向量空间中距离更近。经典例子"国王-男人+女人≈女王"展示了向量运算能捕捉语义关系。余弦相似度比欧氏距离更适合衡量语义相似性，因为它关注向量方向而非长度。不同Embedding模型在维度和性能上各有优劣，如OpenAI的1536维模型表达力强，而M3E-base更适