前几天，群里有朋友问我：“为什么我的大模型刚开始还挺聪明，聊了半小时就开始答非所问，连我前面提过的要求都忘了？”

说实话，我之前也被这个问题困扰过。

如果你经常用大模型，大概率遇到过这些情况：明明第三轮就提过的要求，到第十轮它就"忘"了；对话越长，响应越慢；一看 token 消耗，蹭蹭往上涨。更要命的是，你还以为是模型不够聪明，换了个更贵的模型，结果问题照旧。

问题可能根本不在模型，而在你喂给它上下文的方式。

问题根源：上下文爆炸

先纠正一个常见误解：很多人以为模型能"记住"对话里说过的每一句话。

实际上，大模型是无状态的。你每发一次提问，客户端都会把整个对话历史作为上下文重新发给模型。对话越长，这个包裹就越大。

这带来三个直接后果：

1. 注意力被稀释。模型的注意力要分摊到更多内容上，真正重要的信息权重被冲淡
2. 响应变慢。注意力机制的计算量随序列长度近似平方级增长，上下文越长，推理越慢
3. 成本飙升。API 按 token 计费，每一轮提问你都要为全部历史买单

我遇到过最夸张的情况：一个会话累积到 8 万多 token，每次提问要等 30 秒以上。你花的钱、等的时间，大部分不是在为"这个问题"付费，而是在为全部历史付费。

技术原理：大模型为什么会"失忆"

1. 中间迷失效应（Lost in the Middle）

2023 年斯坦福等机构的研究者发表过一篇论文《Lost in the Middle》，揭示了一个很反直觉的现象：

模型对上下文中信息的记忆呈 U 型曲线——开头和结尾记得最牢，中间部分最容易丢。

也就是说，你把关键要求埋在长上下文的中间，模型很可能直接"看漏"。这不是模型偷懒，而是当前架构的普遍特性。

2. 全量重发机制

绝大多数对话产品，每一轮都会重发完整历史。假设对话历史已有 2 万 token，你新提的问题只有 50 个 token，那么这次请求的输入就是 20050 个 token——其中 99.75% 是历史。

越聊越贵，越聊越慢，就是这么来的。

3. 无关信息是噪音，不是帮助

更反直觉的一点：塞进去的信息越多，回答不一定越好。如果上下文里 90% 的内容和当前问题无关，模型就得先排除这些干扰，反而更容易跑偏。

精准检索，永远好过全量堆砌。

怎么自救：5 个真正好用的技巧

技巧一：话题切换就开新对话

最简单也最有效的一招。一个话题一个会话，换话题就新开。

如果担心丢上下文，把旧会话的关键结论总结成一小段，贴进新会话开头即可。

技巧二：滚动摘要

长对话不可避免时，定期让模型自己做总结：

“请用要点形式总结我们到目前为止讨论的背景、已达成的结论和待解决的问题。”

然后拿着这份摘要开新对话。几百 token 的摘要，往往足以承载几万 token 历史里的关键信息。

技巧三：用"检索"代替"全塞"

如果你的场景涉及大量文档，别把整个文档塞进上下文。正确的思路是检索增强生成（RAG）：

1. 把文档切成小块并向量化
2. 提问时先检索出最相关的两三个片段
3. 只把这些精准片段交给模型

模型需要的是"相关信息"，不是"全部信息"。

技巧四：重要信息放开头和结尾

利用 U 型曲线：

• ✅ 系统级要求、核心约束，写在上下文开头
• ✅ 当前任务目标，在结尾再强调一遍
• ❌ 不要把关键要求埋在长篇背景材料中间

技巧五：定期清理冗余历史

直接调 API 的话，不要无脑全量发送 messages：

• 删掉与任务无关的闲聊轮次
• 把多轮反复修改的过程压缩成一句结论
• 只保留最近 N 轮对话 + 一段背景摘要

优化前后对比

指标	优化前（全量堆历史）	优化后（管理上下文）
单次输入量	随轮数线性膨胀	稳定在固定区间
响应速度	越聊越慢	全程稳定
API 成本	每几轮翻一倍	大幅下降
回答质量	易忘要求、跑偏	注意力集中，输出更稳

（注：具体提升幅度取决于对话长度和使用方式，上表为定性对比。）

什么情况下要特别注意？

必须优化

🔴 单次对话超过 20 轮还要继续聊
🔴 需要在对话里引用长文档
🔴 跑 7×24 小时的机器人 / Agent（历史只增不减）

建议优化

🟡 API 账单让你心疼
🟡 对回答稳定性要求高（客服、知识问答等场景）
🟡 经常被模型"忘了我说过什么"困扰

常见问题

Q：模型宣称支持 128K 甚至更长的上下文，还需要管理吗？
A：需要。"装得下"和"用得好"是两回事。上下文越长，成本越高、速度越慢，中间迷失效应依然存在。长上下文是兜底能力，不是随便堆料的理由。

Q：做摘要不会丢信息吗？
A：会丢一部分，但摘要的目标是保留"关键信息"，不是"全部信息"。对绝大多数任务，一份高质量摘要比原始全量历史效果更好。实在不能丢的关键要求，手动带进新对话即可。

Q：开新对话会不会让模型"不认识我"了？
A：模型本来就没有跨会话的记忆，它看到的世界就是你这次给的输入。短上下文意味着计算更少、响应更快、价格更低，没有任何损失。

Q：怎么判断上下文已经爆了？
A：两个信号。一是响应明显变慢；二是模型开始引用几轮前无关的内容、忘记你提过的要求。出现这两条，就该摘要或者开新会话了。

Q：那些宣称"永久记忆"的产品是不是就没这个问题？
A：大部分"永久记忆"本质上也是"检索后再喂给模型"，只是把上下文管理从手动变成了自动。理解这套原理，你才能判断它什么时候靠谱、什么时候不靠谱。

总结

大模型越聊越笨，往往不是模型的问题，而是上下文管理的问题。记住这几句话：

✅ 模型是无状态的，每轮提问都在重发全部历史
✅ 注意力是稀缺资源，无关信息是噪音
✅ 话题切换开新会话，长对话用滚动摘要
✅ 文档场景用检索代替全量堆砌
✅ 重要信息放开头和结尾，避开中间地带

用好大模型，靠的往往不是更贵的模型，而是你喂上下文的方式。