一、面试现场还原

面试官你说你做过 Agent?那我问个实际问题:你的 Agent 跑一个长任务,跑到第十几轮,把用户第 2 轮定的约束丢了,用户说"把那个方案改一下",它反问"哪个方案"——多轮任务里的指代丢失,为什么发生?怎么解?

候选人呃……加大上下文窗口?

面试官窗口已经 128K 了。

……

为什么这道题能干沉默两年经验的开发者?因为他平时只调 API 不踩坑,把"上下文窗口很大"当成万能药;而这道题考的是机制层理解 + 工程层方案的双层功底。下面按面试标准答案逐层拆。

二、一句话点破本质

大模型没有记忆。每次 API 请求完全独立,所谓"多轮对话",只是每次把历史消息重新塞进 messages 数组发回去——记忆的全部都在你的代码侧,不在模型侧。所以"指代丢失"只有两种可能:

① 信息根本不在上下文里历史被截断、被摘要丢掉了,"那个方案"的定义压根没随请求发过去。

② 信息在,但注意力够不着信息还躺在上下文中间,但注意力衰减导致模型"看不见"它——它不是忘了目标,是不再看目标。

面试时能先把这两种情况分开,就已经领先大多数候选人了。

三、技术根因:四层拆解

3.1 架构层:ReAct 是无状态循环

主流 Agent 的 ReAct(Thought → Action → Observation)本质是无状态架构:没有独立于 prompt 的持久记忆和状态表示,所有"记忆"都靠历史消息堆在上下文里。这和传统 AI 的黑板架构 / 有限状态机(有显式结构化世界模型)形成鲜明对比。任务一长,无状态设计的弱点必然暴露。

3.2 注意力层:上下文不是水桶,是递减资源

证据结论
注意力 n² 预算(Anthropic)n 个 token 产生 n² 对注意力关系,每个新 token 都消耗有限"注意力预算",上下文是递减资源,不是水桶。
Context Rot(Chroma,18 个模型评测)即使简单检索任务,输入越长模型越不可靠。加窗口不解决问题。
Lost in the Middle(Stanford, 2023)关键信息在长上下文中间时召回率显著下降,模型只对头尾敏感。而初始指令恰恰会随对话增长"漂"进中间区。
GAR 研究(UIUC × Adobe,NeurIPS 2026)定义"目标可及性比率"(生成 token 对目标 token 的注意力占比):10 种架构 2B–32B 模型上单调下降(Kendall τ = −0.75),从第 1 轮就掉 27–48%,大部分跌幅在前 10 轮——漂移在窗口装满之前就开始了。滑窗遮蔽实验证明这是因果性的:强制关闭注意力通道,20 事实召回任务从接近满分跌到 11%。
KV Cache 与位置编码RoPE 距离越远衰减越强;推理时 KV Cache 受显存限制被迫截断,最早几轮直接丢。

3.3 工程层:每一步都在污染和稀释上下文

  • Token 膨胀:Manus 披露一次典型任务要调 50 次工具,输入输出比接近 100 : 1——上下文绝大部分是历史和工具结果,初始指令被稀释。
  • 摘要丢约束:压缩"保留叙事、丢掉细节"——预算上限、排除的供应商、输出格式这些硬约束最先被丢,摘要记住的是"聊了什么",不是"要求了什么"。
  • 工具噪声:每次工具结果都把无关文本注入上下文;检索返回一篇"话题相近"的文档,模型就跟着文档跑而不是跟着用户跑。
  • 子代理交接改写:每次 handoff 都用略有不同的措辞复述目标,每次复述都损失一点保真度。

3.4 语义层:漂移是复利的

这是 Multi-turn Semantic Drift(Arize):第 1 轮在正轨,第 4 轮接近,第 12 轮在回答没人问过的问题。机制是早期假设复利——请求欠明确时模型选择猜而不是问,这个猜测进入 transcript 后就成了"既定事实",之后每一轮都条件于它,而模型没有"我 8 轮前的假设可能是错的"这种自我修正机制。另外 recency 主导:第 2 轮的约束要和后面 9 轮文本竞争注意力,它必输。Agent 比聊天机器人漂移更快,因为工具结果和子代理交接都在持续"换着说法"重述目标。

四、解决方案:工程四引擎 + 记忆五策略

4.1 上下文工程四大引擎(框架实践)

引擎落地做法(来自 Deep Agents / Claude Code / Manus / AWS AgentCore)
预算与卸载Deep Agents 硬规则:工具返回 > 20000 token 就写入文件系统,上下文只保留路径 + 前 10 行预览;会话超窗口 85% 时把旧的编辑调用截断成指针。Claude Code 限制记忆文件 200 行 / 25KB,MCP 工具默认只列名字按需拉取。AgentCore 更彻底:协调者并行起 3 个子代理,各自在独立 MicroVM 里跑,分析子代理只接收结构化结果。
压缩Claude Code 的压缩 prompt:保留架构决策和未解决 bug、丢弃冗余输出;压缩后重读最近 5 个修改过的文件、重新注入 skill 文本;完整原始记录落盘,摘要里丢的事实还能找回来。Deep Agents 把摘要文档结构化成"意图 / 已产出物 / 下一步"。OpenAI Responses API 提供服务端压缩(compact_threshold),压缩已下沉到 API 层。
Todo 状态Manus:建 todo.md 逐项打勾——等于把目标重新嵌到上下文末尾,对抗"沉入中间"。注意有反例:Deep Agents 0.7 把 todo 中间件改成了可选(评测显示关闭略提收益降成本);LangChain 仍建议长任务、弱模型、需进度展示的场景开启。
跨会话记忆Claude Code 每次压缩后重载 CLAUDE.md 与自动记忆;AgentCore Memory 后台跑抽取策略供协调者直接召回。冷水:ETH Zurich 研究发现 AGENTS.md 这类上下文文件通常不提升成功率,却增加 20%–23% 推理成本——每次重载都是对注意力预算的固定收税,所以要克制(Claude Code 建议控制在 200 行内)。

4.2 会话记忆五策略(应用层)

策略Token 控制信息保留复杂度适用场景
完整历史无上限零丢失极低≤ 5 轮简单 FAQ
滑动窗口按轮数封顶早期永久丢失低多数客服场景
Token 截断按预算封顶早期永久丢失中消息长度差异大
摘要压缩大幅压缩保关键、有损高长对话
混合:摘要 + 最近 N 轮精确可控长摘要 + 短完整高生产级(推荐)

要点:

  • 滑动窗口 N 值经验:FAQ 3–5、电商客服 5–8、技术支持 8–10、法律/金融咨询 10–15(配合摘要)。从 N=5 起步。
  • Token 截断必须成对丢弃 user/assistant 消息,否则历史不成对模型会混乱。中文 token 估算:中文字符数 × 1.5 + 其他字符 / 4。
  • 摘要触发推荐按 Token 阈值(如 3000);摘要 prompt 必须明确保留:核心意图、关键实体(产品名/订单号/日期/金额)、已确认结论、未解决问题。
  • 混合策略的消息结构:摘要作为 system 消息插在角色定义之后,最近 1–2 轮保持原文完整。
{
  "messages": [
    {"role": "system", "content": "你是一个电商客服助手..."},
    {"role": "system", "content": "【对话背景摘要】客户咨询 iPhone 16 Pro 售后。已确认:1) 2025-01-15 购买,订单号 #20250115001;2) 屏幕有亮点;3) 保修期内;4) 希望换新..."},
    {"role": "user",      "content": "换新之后保修期怎么算?"},
    ...
  ]
}

4.3 指代消解的专项手段

DST 对话状态跟踪用结构化槽位显式追踪实体、意图、约束——"那个方案"直接映射到被追踪的方案实体,不靠注意力瞎猜。

显式记忆模块短期 = 最近几轮原文;长期 = 摘要/记忆向量,每轮显式查询。关键实体(订单号、状态)存成结构化槽位而非原始文本。

Query 改写检索前先做指代消解:"那它的保修期呢" → "iPhone 16 Pro 的保修期"再向量化,否则召回全是噪声。

持久化角色/约束角色向量与硬约束不随轮次更新,每轮拼接注入——语气立场不漂移。

五、面试标准答案框架(四步)

Step 1 机制层(证明你懂原理)"模型本身无状态,多轮只是把历史重发进 messages。指代丢失有两类:信息物理缺失(截断/摘要丢掉)和信息注意力不可及(attention 预算递减、Lost in the Middle、GAR 单调下降)。"

Step 2 给证据(证明你跟进了前沿)"Chroma 的 Context Rot 测了 18 个模型证明加窗口不解决问题;UIUC 的 GAR 研究说明漂移在前 10 轮就开始,且是因果性的。"

Step 3 给工程方案(证明你能落地)"预算与卸载(大结果写文件留指针)→ 压缩(保留硬约束与决策,原文落盘可回溯)→ 结构化状态(DST 槽位 / todo 置顶)→ 关键决策存显式外部状态而非信任摘要。"

Step 4 讲权衡(证明你有判断力)"压缩是有损的,可能丢掉后期才显出重要的细节;AGENTS.md 类记忆文件有 20%+ 的成本税;todo 状态在强模型上可能是负收益。方案要按任务形态选型,并做会话级评测(强制压缩测试)验证——单轮指标全过、整段会话失败是常态。"

六、常见踩坑清单

❌ 踩坑 1:把"加大上下文窗口"当答案。注意力预算递减是机制问题,128K 窗口里中间的信息照样丢。

❌ 踩坑 2:压缩摘要无条件信任。摘要"保叙事丢约束"是有损的——预算、格式、排除项最先丢。硬约束必须存显式状态。

❌ 踩坑 3:摘要压缩太狠/太松。太狠丢实体关系帮倒忙,太松记忆变噪声。摘要质量决定方案成败。

❌ 踩坑 4:按"轮数"等价理解上下文预算。一个工具密集的轮次可能是普通轮次的几十倍,轮数要配 Token 上限一起用。

✅ 正确姿势:上下文 = 输入 + 输出 ≤ 窗口。32K 窗口的推荐预算:System 1k + 历史/摘要 4k + 检索上下文 5k + 问题 0.1k + 生成空间 2k ≈ 12.1k,用到窗口 30%–50% 是最佳平衡;预算紧张时按优先级砍:System → 生成空间 → 最近 2–3 轮 → 检索上下文 → 更早历史。

七、一图收尾

一句话记住这道题:Agent 在长任务里迷路,不是模型不够大,而是上下文这套"引擎"调得不够细——这就是面试官想听到的认知升级。
Logo

更多推荐