什么是注意力漂移:为什么每一轮 Thinking 之后,模型都会慢慢"走神"

注意力漂移不是模型"忘了",而是它在每一轮都重新决定"现在该看什么"。当上下文不断变长、第一轮与最新的输出更响、中间的约束越来越模糊,决策就会一点点偏离原点。模型越强,单轮表现可能更好,但漂移的结构性成因不会自动消失。

1. 先把概念说清楚

"注意力漂移"不是一个标准的学术术语。本文用它来描述智能体在连续回合中的一种现象:

当前决策所依据的注意力分布,逐步偏离最初的目标、约束与已确认事实,转向局部子目标、最近的工具输出,或过度依赖早期的错误假设;并且这种偏离会自我强化。

这里要说明:本文的"注意力"是工程隐喻,指模型对上下文的利用权重,不是可观测的注意力矩阵。

它和"遗忘"不同。遗忘是信息不在了;漂移是信息还在,但权重变了。模型仍然"看得见"最早的约束,只是当前的注意力更愿意停留在别处。

第 N 轮:目标与约束

第 N+1 轮:新的 Thinking 与工具输出

上下文变长,首尾更显著、中间变模糊

局部子目标占据注意力

决策偏离原目标

偏离结果写回上下文

2. 为什么每一轮 Thinking 之后都会发生

把智能体的一轮拆开看:读上下文 → 产出 Thinking → 调工具 → 得到结果 → 写回上下文。漂移就发生在这个循环里,至少有五个结构性原因。

2.1 每一轮都在重新分配注意力

模型没有一块持久的可写记忆。对任务而言,它的状态就是上下文;每一轮都要在整段上下文上重新计算如何分配注意力。新的 Thinking 和工具输出会改变整段上下文的相对权重——最初的目标没有消失,但它在当前决策里的占比可能变小。

2.2 第一轮与最后一轮更响,中间最先变模糊

位置效应会放大这件事。Liu 等人在 Lost in the Middle 中发现:关键信息在长上下文的开头或结尾时表现最好,落在中间时显著下降。Laban 等人的多轮研究进一步发现:模型会过度受第一轮和最后一轮影响,中间轮次最容易被忽略。

放到智能体里:最初的目标在开头,最近的 Thinking 和工具输出在结尾,而早期决策、已验证事实、被推翻的假设落在中段——中段正是最容易被忽略的区域。目标本身未必消失,但支撑目标的细节会先变模糊;模型随后用最近的局部输出填补空白,漂移就发生了。

结尾

中段

最先被忽略

开头

最初目标 / 硬约束

早期决策 / 已验证事实 / 被推翻的假设

最近 Thinking / 最新工具输出

当前决策:更受最近输出影响

2.3 Thinking 未必是持久状态

很多智能体把 Thinking 当作"想过就算"的临时产物。下一轮开始时,上一轮的推理过程可能只以摘要、结论或几条消息的形式留下;更细的约束、被排除的方案、当时的理由,未必被保留。于是下一轮只能基于"结论"继续,而不是基于"推导结论的过程"。

这不是模型不愿意记,而是结构上没有地方存。除非把状态写到模型之外,否则每一轮都在做一次有损重建。

2.4 早期假设会变成后续的"事实"

多轮对话里,模型常常过早提出完整方案,并对自己的早期答案产生依赖。Laban 等人在 LLMs Get Lost in Multi-Turn Conversation(arXiv:2505.06120,ICLR 2026)中做了大规模模拟:所有被测的开源与闭源模型,在多轮、欠规格的对话里都显著退化,平均下降 39%;拆开看,能力(aptitude)只小幅下降,不可靠性(unreliability)大幅上升。

论文总结的四个原因很贴近"漂移":

  1. 过早给出完整答案,对未指定的细节做假设;
  2. 过度依赖之前(可能错误的)答案;
  3. 过度受第一轮和最后一轮影响,中间轮次被忽略;
  4. 回答越来越冗长,进一步稀释注意力。

一旦早期假设写进上下文,后续轮次就会把它当条件继续推理。错误没有被纠正,反而被"继承"。

2.5 注意力机制本身有分辨率上限

即使不考虑位置效应,模型的注意力也不是均匀覆盖全部上下文的。以稀疏/压缩注意力为例:高分辨率窗口只覆盖最近一小段,远处信息以压缩后的低分辨率形式存在。全局"知道个大概",但具体约束可能已经模糊。

这解释了为什么"上下文里明明写了"和"模型当前确实用上了"是两件事。

3. 为什么更强的模型也不能幸免

一个自然的疑问是:模型更强、Thinking 更长,是不是就不会漂移了?

Laban 等人的结果给了一个不乐观的答案:在多轮设置下,更强模型的不可靠性并没有显著更低。能力更强的模型单轮表现更好,但多轮退化是所有被测模型的共同现象;增加测试时计算也不能单独解决它。

原因在于,漂移的成因不只在权重里:

  • 上下文在变长,这是交互结构决定的;
  • 第一轮与最后一轮更显著、中间轮次更易被忽略,这是位置效应与多轮行为共同决定的;
  • 早期假设会被继承,这是自回归生成决定的;
  • 多轮退化会被"过早下结论"和"过度依赖旧答案"放大,这是行为模式决定的。

模型能力更多决定单轮表现,而不是消除多轮的结构性成因。强模型走得更稳,但方向仍然需要外部校准。

4. 漂移长什么样

漂移通常不是突然发生的,而是一连串"看起来都合理"的小决定:

  • 最初的目标是"修一个 bug",几轮后变成"让这个测试通过";
  • 最初要求"最小改动",几轮后开始重构无关代码;
  • 早期已经确认"这个方案不可行",后面又把它捡回来;
  • 工具输出里的一句猜测,被当成已验证的事实;
  • 越到后面,回答越长,真正的约束越难被看见。

目标:修 bug,最小改动

发现测试失败

先让测试通过

顺手重构相关代码

重构引入新失败

继续修新失败

偏离原目标:改动范围失控

每一步都"有理由",但整条链路已经偏离。这就是漂移的隐蔽之处:它不需要一个明显的错误,只需要一连串局部最优。

5. 工程上怎么对抗漂移

漂移是结构性的,所以对抗也必须是结构性的:不能指望模型"更专注",只能让系统替它保持方向。

否

是

每一轮开始

重述目标与硬约束

读取外部状态:决定/证据/未完成项

只处理当前一步

用证据验证

与目标/约束一致?

停止,回到原点校准

写回状态,进入下一轮

六个动作:

  1. 状态外置:目标、约束、决定、证据、未完成项写在模型之外,不依赖上下文记忆。
  2. 每轮重锚:开始前重述目标与不可协商的约束,把"原点"重新放到注意力里。
  3. 短闭环:一轮只做一个可验证的步骤,减少局部目标压过全局目标的窗口。
  4. 证据优先:用命令输出、文件内容、测试结果判断,而不是"我记得之前……"。
  5. 显式假设:把假设写出来并标记"未验证",下一轮优先复核,而不是默认继承。
  6. 漂移检测:每轮结束前问三个问题——当前动作还服务于原目标吗?违反了哪条约束?有没有把假设当事实?

6. 一张漂移检测表

信号可能含义处理
回答越来越长,但离目标越来越远局部输出稀释了全局目标回到目标,删掉无关内容
反复修改同一个地方早期假设错误,被继承显式复核假设
开始做"顺手"的额外工作局部最优压过原约束检查最小改动约束
引用"之前确认过"但找不到证据记忆被重构或污染回到外部状态核对
同一事实在不同轮次说法矛盾上下文冲突未被发现停止,列出冲突并裁决

7. 结语

注意力漂移不是某个模型的 bug,而是"用上下文当状态"的必然代价:每一轮都要重新分配注意力,第一轮与最后一轮更显著、中间的约束先变模糊,早期的假设会被继承,远处的细节会被压缩。模型越强,单轮表现可能更好;但只要任务状态还只存在上下文里,多轮不可靠性就不会自动消失。

对抗漂移的关键,不是让模型"更努力地专注",而是让系统"更容易回到原点":状态外置、每轮重锚、短闭环、证据优先、显式假设、主动检测。


证据与边界

  • 多轮退化:P. Laban, H. Hayashi, Y. Zhou, J. Neville, LLMs Get Lost In Multi-Turn Conversation, arXiv:2505.06120(ICLR 2026)。平均下降 39%;能力小幅下降、不可靠性显著上升;更强模型并未消除多轮不可靠性;增加测试时计算不能单独解决。
  • 位置效应:N. F. Liu et al., Lost in the Middle: How Language Models Use Long Contexts, arXiv:2307.03172(TACL 2024)。
  • 注意力分辨率:稀疏/压缩注意力会限制高分辨率覆盖范围;具体配置因模型而异,本文不展开。
  • 边界:"注意力漂移"是本文的工程描述,不是标准术语;它对应多轮退化、位置效应、上下文压缩损失等现象的组合。本文的"注意力"是工程隐喻,指模型对上下文的利用权重,不是可观测的注意力矩阵。所引多轮研究针对的是欠规格对话,不是工具调用型智能体的逐步执行;把它推广到"每轮 Thinking 后的漂移"是工程推演,具体模型上的漂移强度需以实测为准。
  • 本文不涉及任何具体产品的内部实现或上下文管理手段。
Logo

更多推荐