AI Agent 多轮任务指代丢失:一道干沉默“两年经验大模型开发“的大厂面试题
一、面试现场还原
面试官你说你做过 Agent?那我问个实际问题:你的 Agent 跑一个长任务,跑到第十几轮,把用户第 2 轮定的约束丢了,用户说"把那个方案改一下",它反问"哪个方案"——多轮任务里的指代丢失,为什么发生?怎么解?
候选人呃……加大上下文窗口?
面试官窗口已经 128K 了。
……
为什么这道题能干沉默两年经验的开发者?因为他平时只调 API 不踩坑,把"上下文窗口很大"当成万能药;而这道题考的是机制层理解 + 工程层方案的双层功底。下面按面试标准答案逐层拆。
二、一句话点破本质
大模型没有记忆。每次 API 请求完全独立,所谓"多轮对话",只是每次把历史消息重新塞进 messages 数组发回去——记忆的全部都在你的代码侧,不在模型侧。所以"指代丢失"只有两种可能:
① 信息根本不在上下文里历史被截断、被摘要丢掉了,"那个方案"的定义压根没随请求发过去。
② 信息在,但注意力够不着信息还躺在上下文中间,但注意力衰减导致模型"看不见"它——它不是忘了目标,是不再看目标。
面试时能先把这两种情况分开,就已经领先大多数候选人了。
三、技术根因:四层拆解
3.1 架构层:ReAct 是无状态循环
主流 Agent 的 ReAct(Thought → Action → Observation)本质是无状态架构:没有独立于 prompt 的持久记忆和状态表示,所有"记忆"都靠历史消息堆在上下文里。这和传统 AI 的黑板架构 / 有限状态机(有显式结构化世界模型)形成鲜明对比。任务一长,无状态设计的弱点必然暴露。
3.2 注意力层:上下文不是水桶,是递减资源
| 证据 | 结论 |
|---|---|
| 注意力 n² 预算(Anthropic) | n 个 token 产生 n² 对注意力关系,每个新 token 都消耗有限"注意力预算",上下文是递减资源,不是水桶。 |
| Context Rot(Chroma,18 个模型评测) | 即使简单检索任务,输入越长模型越不可靠。加窗口不解决问题。 |
| Lost in the Middle(Stanford, 2023) | 关键信息在长上下文中间时召回率显著下降,模型只对头尾敏感。而初始指令恰恰会随对话增长"漂"进中间区。 |
| GAR 研究(UIUC × Adobe,NeurIPS 2026) | 定义"目标可及性比率"(生成 token 对目标 token 的注意力占比):10 种架构 2B–32B 模型上单调下降(Kendall τ = −0.75),从第 1 轮就掉 27–48%,大部分跌幅在前 10 轮——漂移在窗口装满之前就开始了。滑窗遮蔽实验证明这是因果性的:强制关闭注意力通道,20 事实召回任务从接近满分跌到 11%。 |
| KV Cache 与位置编码 | RoPE 距离越远衰减越强;推理时 KV Cache 受显存限制被迫截断,最早几轮直接丢。 |
3.3 工程层:每一步都在污染和稀释上下文
- Token 膨胀:Manus 披露一次典型任务要调 50 次工具,输入输出比接近 100 : 1——上下文绝大部分是历史和工具结果,初始指令被稀释。
- 摘要丢约束:压缩"保留叙事、丢掉细节"——预算上限、排除的供应商、输出格式这些硬约束最先被丢,摘要记住的是"聊了什么",不是"要求了什么"。
- 工具噪声:每次工具结果都把无关文本注入上下文;检索返回一篇"话题相近"的文档,模型就跟着文档跑而不是跟着用户跑。
- 子代理交接改写:每次 handoff 都用略有不同的措辞复述目标,每次复述都损失一点保真度。
3.4 语义层:漂移是复利的
这是 Multi-turn Semantic Drift(Arize):第 1 轮在正轨,第 4 轮接近,第 12 轮在回答没人问过的问题。机制是早期假设复利——请求欠明确时模型选择猜而不是问,这个猜测进入 transcript 后就成了"既定事实",之后每一轮都条件于它,而模型没有"我 8 轮前的假设可能是错的"这种自我修正机制。另外 recency 主导:第 2 轮的约束要和后面 9 轮文本竞争注意力,它必输。Agent 比聊天机器人漂移更快,因为工具结果和子代理交接都在持续"换着说法"重述目标。
四、解决方案:工程四引擎 + 记忆五策略
4.1 上下文工程四大引擎(框架实践)

| 引擎 | 落地做法(来自 Deep Agents / Claude Code / Manus / AWS AgentCore) |
|---|---|
| 预算与卸载 | Deep Agents 硬规则:工具返回 > 20000 token 就写入文件系统,上下文只保留路径 + 前 10 行预览;会话超窗口 85% 时把旧的编辑调用截断成指针。Claude Code 限制记忆文件 200 行 / 25KB,MCP 工具默认只列名字按需拉取。AgentCore 更彻底:协调者并行起 3 个子代理,各自在独立 MicroVM 里跑,分析子代理只接收结构化结果。 |
| 压缩 | Claude Code 的压缩 prompt:保留架构决策和未解决 bug、丢弃冗余输出;压缩后重读最近 5 个修改过的文件、重新注入 skill 文本;完整原始记录落盘,摘要里丢的事实还能找回来。Deep Agents 把摘要文档结构化成"意图 / 已产出物 / 下一步"。OpenAI Responses API 提供服务端压缩(compact_threshold),压缩已下沉到 API 层。 |
| Todo 状态 | Manus:建 todo.md 逐项打勾——等于把目标重新嵌到上下文末尾,对抗"沉入中间"。注意有反例:Deep Agents 0.7 把 todo 中间件改成了可选(评测显示关闭略提收益降成本);LangChain 仍建议长任务、弱模型、需进度展示的场景开启。 |
| 跨会话记忆 | Claude Code 每次压缩后重载 CLAUDE.md 与自动记忆;AgentCore Memory 后台跑抽取策略供协调者直接召回。冷水:ETH Zurich 研究发现 AGENTS.md 这类上下文文件通常不提升成功率,却增加 20%–23% 推理成本——每次重载都是对注意力预算的固定收税,所以要克制(Claude Code 建议控制在 200 行内)。 |
4.2 会话记忆五策略(应用层)
| 策略 | Token 控制 | 信息保留 | 复杂度 | 适用场景 |
|---|---|---|---|---|
| 完整历史 | 无上限 | 零丢失 | 极低 | ≤ 5 轮简单 FAQ |
| 滑动窗口 | 按轮数封顶 | 早期永久丢失 | 低 | 多数客服场景 |
| Token 截断 | 按预算封顶 | 早期永久丢失 | 中 | 消息长度差异大 |
| 摘要压缩 | 大幅压缩 | 保关键、有损 | 高 | 长对话 |
| 混合:摘要 + 最近 N 轮 | 精确可控 | 长摘要 + 短完整 | 高 | 生产级(推荐) |
要点:
- 滑动窗口 N 值经验:FAQ 3–5、电商客服 5–8、技术支持 8–10、法律/金融咨询 10–15(配合摘要)。从 N=5 起步。
- Token 截断必须成对丢弃 user/assistant 消息,否则历史不成对模型会混乱。中文 token 估算:
中文字符数 × 1.5 + 其他字符 / 4。 - 摘要触发推荐按 Token 阈值(如 3000);摘要 prompt 必须明确保留:核心意图、关键实体(产品名/订单号/日期/金额)、已确认结论、未解决问题。
- 混合策略的消息结构:摘要作为 system 消息插在角色定义之后,最近 1–2 轮保持原文完整。
{
"messages": [
{"role": "system", "content": "你是一个电商客服助手..."},
{"role": "system", "content": "【对话背景摘要】客户咨询 iPhone 16 Pro 售后。已确认:1) 2025-01-15 购买,订单号 #20250115001;2) 屏幕有亮点;3) 保修期内;4) 希望换新..."},
{"role": "user", "content": "换新之后保修期怎么算?"},
...
]
}
4.3 指代消解的专项手段
DST 对话状态跟踪用结构化槽位显式追踪实体、意图、约束——"那个方案"直接映射到被追踪的方案实体,不靠注意力瞎猜。
显式记忆模块短期 = 最近几轮原文;长期 = 摘要/记忆向量,每轮显式查询。关键实体(订单号、状态)存成结构化槽位而非原始文本。
Query 改写检索前先做指代消解:"那它的保修期呢" → "iPhone 16 Pro 的保修期"再向量化,否则召回全是噪声。
持久化角色/约束角色向量与硬约束不随轮次更新,每轮拼接注入——语气立场不漂移。
五、面试标准答案框架(四步)
Step 1 机制层(证明你懂原理)"模型本身无状态,多轮只是把历史重发进 messages。指代丢失有两类:信息物理缺失(截断/摘要丢掉)和信息注意力不可及(attention 预算递减、Lost in the Middle、GAR 单调下降)。"
Step 2 给证据(证明你跟进了前沿)"Chroma 的 Context Rot 测了 18 个模型证明加窗口不解决问题;UIUC 的 GAR 研究说明漂移在前 10 轮就开始,且是因果性的。"
Step 3 给工程方案(证明你能落地)"预算与卸载(大结果写文件留指针)→ 压缩(保留硬约束与决策,原文落盘可回溯)→ 结构化状态(DST 槽位 / todo 置顶)→ 关键决策存显式外部状态而非信任摘要。"
Step 4 讲权衡(证明你有判断力)"压缩是有损的,可能丢掉后期才显出重要的细节;AGENTS.md 类记忆文件有 20%+ 的成本税;todo 状态在强模型上可能是负收益。方案要按任务形态选型,并做会话级评测(强制压缩测试)验证——单轮指标全过、整段会话失败是常态。"
六、常见踩坑清单
❌ 踩坑 1:把"加大上下文窗口"当答案。注意力预算递减是机制问题,128K 窗口里中间的信息照样丢。
❌ 踩坑 2:压缩摘要无条件信任。摘要"保叙事丢约束"是有损的——预算、格式、排除项最先丢。硬约束必须存显式状态。
❌ 踩坑 3:摘要压缩太狠/太松。太狠丢实体关系帮倒忙,太松记忆变噪声。摘要质量决定方案成败。
❌ 踩坑 4:按"轮数"等价理解上下文预算。一个工具密集的轮次可能是普通轮次的几十倍,轮数要配 Token 上限一起用。
✅ 正确姿势:上下文 = 输入 + 输出 ≤ 窗口。32K 窗口的推荐预算:System 1k + 历史/摘要 4k + 检索上下文 5k + 问题 0.1k + 生成空间 2k ≈ 12.1k,用到窗口 30%–50% 是最佳平衡;预算紧张时按优先级砍:System → 生成空间 → 最近 2–3 轮 → 检索上下文 → 更早历史。
七、一图收尾

一句话记住这道题:Agent 在长任务里迷路,不是模型不够大,而是上下文这套"引擎"调得不够细——这就是面试官想听到的认知升级。
更多推荐


所有评论(0)