【Agent 精讲2】记忆是怎么进上下文的:启动期预热与运行时检索的分工

写在前面

主线只有一句:

记忆进入上下文只有两条路:一条在模型启动之前由宿主铺好,一条在模型运行之后由模型自己开口要。两者都叫「自动」,但一个是确定的程序路径,一个是概率的模型判断。

把这两个东西混为一谈,会得出一个很别扭的结论——「既然背景会自动加载,那不就是 Agent 自己决定去查的吗」。这个推论错在把「自动」当成了一个主语。

本文按七组问题拆开:两个「自动」分别归谁、时间轴上为什么只有一种可能、两条通道各自的失效模式、可靠性为什么由笨的那条决定、以及一条可操作的选路判据。


〇、速查表

通道 A:启动期预热通道 B:运行时检索
执行者宿主程序模型(发起)+ 宿主(执行)
时机首轮请求组装之前,每次必跑推理中途,按需触发
模型是否知情不知道。背景对它是「天然存在」的知道。由它自己发起,知道查了什么
可预测性100%,确定性代码路径概率性,取决于推理内容
失败方式查错、查旧、查多了——但不会漏该查不查、反复查、查了不用
可观测性差,注入即生效,没有中间态好,留下 tool_call 记录
成本恒定,每轮都付只在发生时付
决定上限还是下限决定下限决定上限

一句话区分:通道 A 是「上班前资料已经摆在桌上」,通道 B 是「自己判断缺什么,起身去档案室翻」。


一、先把「自动」这个主语拆开

1.1 「自动」有两个主体

日常语境里说「自动加载背景」,很容易被理解成「模型自动去加载背景」。但这两件事的主语完全不同:

说法真正的执行者性质
自动加载背景宿主程序里的一段初始化代码确定性,if 启动 then 检索
自动检索记忆模型输出的一串 tool_call token概率性,取决于这一轮推理出什么

把 for 循环和神经网络的输出都叫「自动」,等于抹掉了工程上唯一要紧的差别:一个每次都会发生,一个可能不发生。

1.2 时间轴上的硬约束

通道 A                          通道 B
─────────────────────────────   ─────────────────────────────
宿主启动                         模型已在生成
  ↓                                ↓
用任务描述检索记忆库              推理到某一步,判断缺知识
  ↓                                ↓
结果拼进 system prompt            输出 tool_call
  ↓                                ↓
组装首轮请求                      宿主执行检索
  ↓                                ↓
模型拿到上下文 ← 模型此刻才出现    结果回填为 tool result
                                   ↓
                                继续生成

左边那条链路上,模型根本还不存在。它没有产生第一个 token,没有任何可被观测的内部状态,因此不存在「它决定要不要查」这件事。

这不是设计取舍,是物理上不可能。一个尚未被调用的函数,无法决定自己要不要运行。

1.3 两条通道的完整时序

模型记忆存储Host模型记忆存储Host通道 A:启动期预热模型此刻才第一次存在通道 B:运行时检索继续推理用任务描述检索候选片段拼进 system prompt首轮请求(已带背景)tool_call: memory_search执行检索结果tool result 回填上下文

两条通道在物理上是同一条链路的两个时刻,区别只在于「谁在那一刻有判断能力」。


二、为什么通道 A 只能由宿主做

2.1 承接前一篇的结论

Agent 精讲1 里有一个结论是理解本篇的前提:

LLM 是无状态的。每次 API 调用结束,模型什么都不留。上下文是宿主重新拼出来再发一次的。

既然上下文是宿主拼的,那么「拼的时候放不放背景」这件事,天然就在宿主手里。模型连自己这一轮的输入是怎么来的都无从得知,更谈不上决定。

2.2 模型对预热内容没有知情权

这是通道 A 最容易被忽略的性质:模型不知道背景是查来的。

它看到的是一段已经躺在 system prompt 里的文字,和 You are a helpful assistant 这类固定指令在形式上完全一样。它无法区分:

  • 哪些是产品写死的角色设定
  • 哪些是从记忆库里检索出来的历史事实
  • 哪些是调用方临场拼进去的临时信息

三者在它眼里没有差别。因此它对这三者的信任度也一样高。

2.3 由此推出的第一个风险

预热内容的错误是静默的。

一段过时的、写歪的记忆被注入之后,模型会毫无怀疑地当事实使用,而且全程不会产生任何「要不要核对一下」的动机——因为它压根不知道这段东西有来源、有置信度、可能过期。

通道 B 出错时看得见:日志里有一条 tool_call,参数是什么、返回了什么、模型看完怎么处理的,全留痕。通道 A 出错时什么都没有,它和正确运行时长得一模一样。

记忆系统里最难排查的那类 bug,几乎全部集中在上半段。


三、通道 A 的四个失效模式

3.1 检索键太短

预热只能用「用户这一轮说的话」当查询。而任务真正需要的背景,往往在执行到第七步才浮现出来——那时候用户早就没再说话了。

用一句话去检索整个记忆库,命中率天然有上限。

3.2 相关性判断发生在看到全文之前

检索器只能按字面或向量相似度排序,它不知道接下来要做什么。于是「看起来相关但没用」的片段会挤掉「看起来不相关但关键」的片段。

3.3 成本恒定,与实际需求脱钩

不管这一轮用不用得上,这批 token 每轮都在。多轮对话里,这笔开销是乘上去的。

3.4 过时信息被无差别继承

最危险的一条。一条写错的约束一旦进入预热路径,它会在每一次新对话里被重复注入一次,每次都把模型往同一个方向带偏。

而修正它的成本,取决于这条约束散落在多少个地方——如果同一句话在三个文件里各写一份,改漏一处就等于没改。


四、通道 B 的三个失效模式

4.1 不知道自己有这个工具

通道 B 完全依赖模型「想起来」。而模型只能看见上下文里写了什么。

如果 system prompt 里没有一句「遇到不确定的历史信息,可以调用 memory_search」,那么这个工具对模型来说等于不存在。工具装上了但从不被调用,绝大多数是这个原因,不是模型笨。

这也是和前一篇「三道闸口」里第一道呼应的地方:工具没进候选集,模型连它存在都不知道。

4.2 该查不查

模型有强烈的「直接给答案」倾向。在它自认为知道的时候,不会再去查——而它自认为知道的那一刻,恰恰是最需要核对的时候。

缓解手段是把触发条件写得极其具体,而不是写「需要时请检索」。例如:

遇到以下任一情况,先检索再回答:
- 涉及具体文件路径、端口、版本号
- 涉及用户此前明确表达过的偏好
- 涉及「上次」「之前」「那个」这类指代

「需要时」是给不出行为的;枚举出来的场景才是。

4.3 查了不用,或者反复查

拿到检索结果后不采纳,仍按原判断回答;或者同一个问题连查三次。前者是判断没被结果影响,后者是缺少「已查过」的状态记录。

两者都指向同一个工程解:把检索结果与后续结论的关系显式化,而不是让它在上下文里自然衰减。


五、为什么可靠性由笨的那条决定

5.1 两条通道是补集,不是备选

通道 A 保什么通道 B 补什么
一定知道「这是谁」「底线规矩是什么」执行到一半冒出来的细节
不依赖模型判断力精度高,按需付费
不依赖模型是否记得有工具能看到中间过程

一条负责保底,一条负责精修。取平均没有意义,因为它们覆盖的根本不是同一批信息。

5.2 但用户感知到的是下限

用户不会因为「模型第 12 轮查得很准」而觉得系统可靠。他只会因为「模型第一句话就把硬性要求忘了」而判定它不可用。

通道 A 决定下限,通道 B 决定上限。而可靠性由下限决定,体验由上限决定。

因此工程上的优先级是反直觉的:宁可用更笨、更死板的预热,也不要指望运行时检索兜底。预热写死的东西一定会被执行,运行时检索只是可能会被执行。

5.3 一个自查方法

假设模型这一轮完全没有想起任何工具,系统还能正常工作吗?

  • 能——A 覆盖住了底线,B 只是加速
  • 不能——把可靠性押在了概率上

六、选路判据:问频率,别问重要性

一条信息该走哪条通道,常见的错误判据是「它重要吗」。重要性只能回答「要不要写」,回答不了「写在哪」。

正确的判据是频率:

这条信息的使用频率走哪条通道
每一轮都要用通道 A,写进 AGENTS.md / system prompt
少数轮次用得上,但要精确定位通道 B,做成检索工具
频率低且不需要精确两条都不走,让它留在磁盘上
一直要,且体积很大拆开:结论进 A,细节留给 B

第四行是实践中最常被忽略的一档。一份三万字的手册,正确做法不是整份塞进 A(挤爆上下文),也不是全丢给 B(每次都要多绕一圈)——而是把「这份手册存在,什么时候该查,查哪一节」写进 A,正文留在 B。

6.1 一个常见反模式

把全部记忆都塞进 system prompt。

短期看效果最好——什么都记得。长期看有三个必然会到来的问题:

  1. 上下文被固定内容占满,真正重要的当轮信息被挤出去(前一篇第三道闸口的经典事故)
  2. 每条约束的边际影响力下降,模型开始抓不住重点
  3. 一条错的信息,从此每轮都被继承一次

这个反模式的动机很合理:怕模型不查。但它用「确定性的浪费」换「概率性的精确」,代价随对话轮数线性增长。


七、可观测性上的不对称

这是两条通道最实质的工程差别,也是最值得在系统设计时提前想清楚的一点。

通道 A通道 B
有没有中间状态没有,注入即生效有,tool_call + tool_result
能不能事后审计只能看最终拼出来的 prompt能还原完整决策链
出错时表现和正常时一样异常参数、异常频次肉眼可见
调优依据只能靠离线对比在线日志直接可用

通道 A 的调优因此只能靠拆前拆后各跑一遍对照实验。这也是为什么任何改动预热结构的操作都必须留回滚点——它一旦改歪,不会报错,只会让模型在所有场景下一起变差,而且定位极难。

反过来,通道 B 的任何问题都留在日志里,可以统计「检索次数 / 对话轮次」这个比值:太低说明触发条件写得太松,太高说明预热没兜住。


八、速查与常见追问

一句话总结

  1. 记忆进上下文的两条路:宿主预热、模型检索
  2. 「自动」有两个主语,一个确定、一个概率
  3. 首轮请求之前模型尚不存在,预热只能由宿主做
  4. 模型对预热内容没有知情权,因此也没有怀疑权
  5. 预热的错是静默的,检索的错是留痕的
  6. 预热需要写触发词,检索需要写触发条件
  7. 可靠性由预热决定,体验由检索决定
  8. 选路问频率,不问重要性
  9. 大而常用的资料要拆:索引进预热,正文留检索
  10. 改预热结构必须留回滚点,它坏了不报错

常见追问

问:「自动加载背景」和「自动检索记忆」是一回事吗?

不是。前者的执行者是宿主程序,在模型启动前完成,每次必跑;后者的执行者是模型,通过一次工具调用触发,可能不发生。两者都表现为「没有人为干预」,因此容易被合并成一个概念。

问:既然背景会自动加载,不就等于 Agent 自己决定去查了吗?

时序上不成立。背景注入发生在模型第一次被调用之前,那一刻它还没产生任何 token,没有判断能力。它只是收到了一份已经查好的结果,并不参与「要不要查」这个决定。

问:为什么不能在启动时把全部记忆一次性塞进去?

三个后果:固定内容挤占上下文、约束边际影响力衰减、任何一条过时信息都会在每轮被重复继承。用确定性的浪费换概率性的精确,成本随轮数线性增长。

问:模型怎么知道自己有检索工具?

只能靠上下文里写。工具装好了但从不被调用,绝大多数情况是 system prompt 里缺一句明确的调用条件,而不是模型能力问题。

问:预热注入的内容写错了怎么发现?

很难自动发现,这是它最麻烦的地方——注入即生效,没有中间态,出错时的表现和正常时完全一致。只能靠改动前后各跑一遍同样的任务做对照。因此预热结构的任何调整都必须先备份、留回滚点。

问:两条通道都用上,是不是就万无一失了?

不是。它们覆盖的是不同批次的信息,不是彼此的备份。预热写歪了,运行时检索不会去核对它——模型不认为那段背景需要被核对。

Logo

更多推荐