它不是给模型唯一标准答案，而是通过人类偏好让模型知道多个候选答案里哪个更符合人类或业务偏好。一句话解释：DPO 直接用“好回答 vs 差回答”的偏好对训练模型，让模型更倾向于好回答，不再单独训练 Reward Model，也不走复杂 PPO 流程。一句话解释：RLHF 不是给模型一个标准答案，而是告诉模型：多个候选答案里，人类更喜欢哪一个。基模越来越强后，低质量垂类微调确实容易被抹平，但控行为、控

定位通用 AI 助手（个人/生活/开发）开发者 AI 工具（专注编码）核心创新闭环学习（记忆+技能自我改进）深度 IDE 集成 + 模型锁定优化模型策略多模型自由切换仅 Anthropic 模型接入方式15+ 聊天平台 + CLI + DesktopCLI + IDE 扩展 + Web工具广度60+ 工具（编程/浏览/语音/图像/家居…）~10 核心工具 + MCP 扩展记忆系统主动记忆 + 自动

定位通用 AI 助手（个人/生活/开发）开发者 AI 工具（专注编码）核心创新闭环学习（记忆+技能自我改进）深度 IDE 集成 + 模型锁定优化模型策略多模型自由切换仅 Anthropic 模型接入方式15+ 聊天平台 + CLI + DesktopCLI + IDE 扩展 + Web工具广度60+ 工具（编程/浏览/语音/图像/家居…）~10 核心工具 + MCP 扩展记忆系统主动记忆 + 自动

触发条件：历史消息 > 16 条执行逻辑：自动用 LLM 将早期消息总结为300 字内摘要，注入 system prompt，原消息移除核心设计内聚透明：压缩逻辑封装，调用方无感知增量压缩：旧摘要 + 新对话合并总结，避免信息丢失TOOL 消息保护：截断自动避开 TOOL 消息，保证工具调用上下文完整。

触发条件：历史消息 > 16 条执行逻辑：自动用 LLM 将早期消息总结为300 字内摘要，注入 system prompt，原消息移除核心设计内聚透明：压缩逻辑封装，调用方无感知增量压缩：旧摘要 + 新对话合并总结，避免信息丢失TOOL 消息保护：截断自动避开 TOOL 消息，保证工具调用上下文完整。

RAG（Retrieval-Augmented Generation，检索增强生成）的本质就一句话：在 LLM 生成回答之前，先从外部知识库检索相关信息，把检索结果塞进 Prompt，让 LLM 基于事实回答。为什么需要 RAG？引入 RAG 主要为了解决大模型在落地应用时的几个核心痛点：缓解幻觉问题：纯大模型容易编造不存在的规则或事实，RAG 强制模型基于检索到的真实文档回答，大幅提升准确性。

RAG（Retrieval-Augmented Generation，检索增强生成）的本质就一句话：在 LLM 生成回答之前，先从外部知识库检索相关信息，把检索结果塞进 Prompt，让 LLM 基于事实回答。为什么需要 RAG？引入 RAG 主要为了解决大模型在落地应用时的几个核心痛点：缓解幻觉问题：纯大模型容易编造不存在的规则或事实，RAG 强制模型基于检索到的真实文档回答，大幅提升准确性。

第五章让模型"会说话"（预训练接龙）第六章让模型"会判断"（分类打标签）第七章让模型"会对话"（指令生成回复）三章连起来，就是从"文盲"到"专家"再到"助手"的完整成长路径。

触发条件：历史消息 > 16 条执行逻辑：自动用 LLM 将早期消息总结为300 字内摘要，注入 system prompt，原消息移除核心设计内聚透明：压缩逻辑封装，调用方无感知增量压缩：旧摘要 + 新对话合并总结，避免信息丢失TOOL 消息保护：截断自动避开 TOOL 消息，保证工具调用上下文完整。

 层归一化可以确保每个层的输出具有一致的均值和方差，从而稳定训练过程。 残差连接是通过将一层的输出直接传递到更深层来跳过一个或多个层的连接，它能帮助缓解在训练深度神经网络（如大语言模型）时遇到的梯度消失问题。 作为 GPT 模型的核心模块组件，Transformer 块融合了掩码多头注意力模块和使用 GELU激活函数的全连接前馈神经网络。 GPT 模型是具有许多重复 Transformer