首因与近因注入:把注意力当作工程资源

同一段规则,放在开头和放在结尾,模型的遵循率不一样。首因定框架,近因定动作,中间放证据。注意力不是均匀的,位置本身就是一种约束。

1. 同一段规则,两种命运

假设有一条规则:"修改代码后必须跑测试。"把它放在一份两万字系统提示词的正中间,模型大概率会在某个长任务的后半段忘掉它;放在第一段或最后一段,忘掉的概率明显下降。

这不是玄学,是位置效应。工程上可以把它拆成两个动作:

  • 首因注入(primacy injection):把身份、最高优先级、不可协商的约束放在最前;
  • 近因注入(recency injection):把"此刻必须执行的动作清单"放在每条消息的最后。

本文讲这两个概念、它们为什么有效,以及一个真实插件里怎么落地。

2. 两个心理学效应,与 LLM 的"中间塌陷"

人类记忆里有系列位置效应:一份列表的开头(首因)和结尾(近因)记得更牢,中间最容易丢。经典研究可追溯到 Murdock(1962)与 Glanzer & Cunitz(1966)。

大模型有类似现象,但机制不同。Liu 等人在 Lost in the Middle: How Language Models Use Long Contexts(arXiv:2307.03172,TACL 2024)中发现:当关键信息位于长上下文的开头或结尾时,模型表现最好;位于中间时,表现显著下降。这不是"记不住",而是注意力分配与检索路径的问题。

结尾(近因区)

中间(细节区)

开头(首因区)

遵循率高

最容易被忽略

身份 / 最高优先级 / 绝对禁止

历史消息 / 工具输出 / 证据 / 示例

本轮动作清单 / 合规提醒 / 反思

结论不是"把一切都放两头",而是按信息类型分配位置。

3. 什么是首因注入

首因注入是在模型开始工作前,先把"不可协商的框架"钉在最前。它回答的是:

  • 你是谁(角色与边界);
  • 什么优先级最高(冲突时听谁的);
  • 哪些事绝对禁止(硬约束);
  • 输出与证据的基本形态。

首因区适合放稳定、短、绝对的内容。它不应该放操作细节,因为细节会随任务变化,而首因区的价值在于"每轮都一样"。

一个反例:把 50 条操作细则全塞进首因区。结果是开头过重、中间空洞、结尾没有落点,模型反而更容易在后半段丢失重点。

4. 什么是近因注入

近因注入是在模型即将行动前,把"这一轮要做什么"放在最后。它回答的是:

  • 现在必须执行哪几项;
  • 哪些动作最容易漏;
  • 完成后必须报告什么;
  • 哪些借口不被接受。

近因区适合放短、命令式、编号、可勾选的清单。它不应该复述全部细则——复述会稀释注意力;正确做法是"引用主条款 + 只列高风险触发器"。

5. 双锚实现:一个插件里的位置分工

目标模式插件(opencode-goal)里,首因与近因是分开做的。

5.1 首因:规则块的首行是绝对禁止横幅

主代理的系统提示词块以这一行开头(src/prompts.ts:42):

[绝对禁止] 本规则为硬性约束(效力见第4条);AI 必须完全理解并无条件遵守。……

规则块由 system.transform 追加到系统提示词数组末尾(src/core.ts:14865)。注意:追加到数组末尾而不是插到最前,是为了不破坏宿主已有前缀、保持 KV 前缀缓存命中;"首因"指的是规则块内部的第一行,以及系统块整体位于对话之前。

宿主系统提示词(不动,保 KV 缓存)

追加:SYSTEM_PRINCIPLES

[绝对禁止] 横幅(规则块首行)

第1条 … 第29条

对话开始

5.2 近因:每条注入消息的末尾是清单

插件所有"主动注入"的消息——救护唤醒、relay、task 新建、逐轮续推——都会在末尾追加合规行与清单(src/prompts.ts:277):

[强制] 必须完全遵守系统提示词全部条款;必须逐款执行下列清单,禁止漏款。
1. ……
…
11. 声称完成/通过/修复前必须按(第3条)执行反思;……

逐轮续推模板甚至做了"双锚":头部有轮次、预算与合规行,尾部有完整清单(src/prompts.ts:330-344)。

续推消息

头部:轮次 / 令牌 / 费用

[强制] 合规行

目标与判定分支

尾部:11 项清单

最后一项:反思

5.3 幂等:清单不能叠两遍

force_suffix 先检查正文是否已含强制句、以及整份清单是否已出现;两者都在就原样返回(src/prompts.ts:277-283)。锚点用整份清单而不是首行,因为主/子清单首行相同,用首行会把异角色残留误判为已注入。

否

是

是

否

body

已含强制句?

裁剪尾部空行

已含整份清单?

原样返回(幂等)

追加:空行 + 强制句 + 清单

返回

6. 位置分配原则

把三类信息放到三个位置:

位置放什么形态反例
首因区身份、优先级、绝对禁止短、绝对、稳定具体操作步骤
中间区证据、历史、示例、细节可检索、可引用硬约束只放这里
近因区本轮动作清单、高风险触发器编号、命令式、可勾选大段背景说明

三条经验:

  1. 首因要短。开头越长,真正的"绝对禁止"越不显眼。
  2. 近因要准。只放最容易漏的触发器,不放全部细则;细则用引用指向主条款。
  3. 中间放证据。模型需要细节,但细节不应该和硬约束抢首尾位置。

7. 反模式

  • 两头重复同一细则:首因和近因各写一遍,模型会以为其中一处是过时的;正确做法是首因放约束,近因放触发。
  • 近因清单太长:20 条以上,最后几条反而会被忽略;清单本身也要有优先级。
  • 每轮都换清单:位置固定的价值在于稳定;清单频繁变化会让模型重新学习。
  • 用首因区放动态数据:轮次、预算、费用属于近因区的头部,不是系统提示词。
  • 把引用写成模糊指代:"按上面的规则"在长上下文里等于没有引用;要写编号,例如 (第3条)。

8. 局限

  1. 位置效应不是保证。它降低方差不消除方差;模型仍可能忽略结尾。
  2. 模型与长度相关。"中间塌陷"的强度随模型、任务、上下文长度变化,不能把论文结论当成常数。
  3. 过度注入有代价。近因区每轮追加清单会占用上下文,长任务里可能挤掉真正的内容。
  4. 首因区不能解决冲突。如果两条规则本身矛盾,放在开头只会让矛盾更显眼,不会自动消解。
  5. 可测性有限。我们能测"位置是否正确注入",很难直接测"模型是否真的更遵循";后者需要对照实验。

9. 结语

首因与近因不是玄学技巧,而是信息架构:开头放不可协商的框架,结尾放此刻必须执行的动作,中间放证据与细节。把它们当成工程资源来分配,提示词才不是一锅越写越长的粥。


证据与边界

  • 首因横幅:src/prompts.ts:42;规则块注入:src/core.ts:14865(output.system.push(SYSTEM_PRINCIPLES))。
  • 近因拼接:src/prompts.ts:277-283(force_suffix,幂等);续推尾部清单:src/prompts.ts:330-344;清单末款:src/prompts.ts:252、:266。
  • 注入入口:rescue_inject_text(src/prompts.ts:285)、role_inject_text(:291)、relay_inject_text(:296)、task_inject_text(:301);调用点如 src/core.ts:9220、:13349、:13621。
  • 文献:N. F. Liu et al., Lost in the Middle: How Language Models Use Long Contexts, arXiv:2307.03172(TACL 2024);B. B. Murdock, The serial position effect of free recall(1962);M. Glanzer & A. R. Cunitz, Two storage mechanisms in free recall(1966)。
  • 边界:本文的"首因/近因"是工程术语,借用了心理学效应与长上下文研究的结论,但不声称二者机制相同;位置效应在具体模型上的强度未做对照实验。
  • 行号以本文写作时的 main = bdffa37 为准。
Logo

更多推荐