首因与近因注入:把注意力当作工程资源
首因与近因注入:把注意力当作工程资源
同一段规则,放在开头和放在结尾,模型的遵循率不一样。首因定框架,近因定动作,中间放证据。注意力不是均匀的,位置本身就是一种约束。
1. 同一段规则,两种命运
假设有一条规则:"修改代码后必须跑测试。"把它放在一份两万字系统提示词的正中间,模型大概率会在某个长任务的后半段忘掉它;放在第一段或最后一段,忘掉的概率明显下降。
这不是玄学,是位置效应。工程上可以把它拆成两个动作:
- 首因注入(primacy injection):把身份、最高优先级、不可协商的约束放在最前;
- 近因注入(recency injection):把"此刻必须执行的动作清单"放在每条消息的最后。
本文讲这两个概念、它们为什么有效,以及一个真实插件里怎么落地。
2. 两个心理学效应,与 LLM 的"中间塌陷"
人类记忆里有系列位置效应:一份列表的开头(首因)和结尾(近因)记得更牢,中间最容易丢。经典研究可追溯到 Murdock(1962)与 Glanzer & Cunitz(1966)。
大模型有类似现象,但机制不同。Liu 等人在 Lost in the Middle: How Language Models Use Long Contexts(arXiv:2307.03172,TACL 2024)中发现:当关键信息位于长上下文的开头或结尾时,模型表现最好;位于中间时,表现显著下降。这不是"记不住",而是注意力分配与检索路径的问题。
结论不是"把一切都放两头",而是按信息类型分配位置。
3. 什么是首因注入
首因注入是在模型开始工作前,先把"不可协商的框架"钉在最前。它回答的是:
- 你是谁(角色与边界);
- 什么优先级最高(冲突时听谁的);
- 哪些事绝对禁止(硬约束);
- 输出与证据的基本形态。
首因区适合放稳定、短、绝对的内容。它不应该放操作细节,因为细节会随任务变化,而首因区的价值在于"每轮都一样"。
一个反例:把 50 条操作细则全塞进首因区。结果是开头过重、中间空洞、结尾没有落点,模型反而更容易在后半段丢失重点。
4. 什么是近因注入
近因注入是在模型即将行动前,把"这一轮要做什么"放在最后。它回答的是:
- 现在必须执行哪几项;
- 哪些动作最容易漏;
- 完成后必须报告什么;
- 哪些借口不被接受。
近因区适合放短、命令式、编号、可勾选的清单。它不应该复述全部细则——复述会稀释注意力;正确做法是"引用主条款 + 只列高风险触发器"。
5. 双锚实现:一个插件里的位置分工
目标模式插件(opencode-goal)里,首因与近因是分开做的。
5.1 首因:规则块的首行是绝对禁止横幅
主代理的系统提示词块以这一行开头(src/prompts.ts:42):
[绝对禁止] 本规则为硬性约束(效力见第4条);AI 必须完全理解并无条件遵守。……
规则块由 system.transform 追加到系统提示词数组末尾(src/core.ts:14865)。注意:追加到数组末尾而不是插到最前,是为了不破坏宿主已有前缀、保持 KV 前缀缓存命中;"首因"指的是规则块内部的第一行,以及系统块整体位于对话之前。
5.2 近因:每条注入消息的末尾是清单
插件所有"主动注入"的消息——救护唤醒、relay、task 新建、逐轮续推——都会在末尾追加合规行与清单(src/prompts.ts:277):
[强制] 必须完全遵守系统提示词全部条款;必须逐款执行下列清单,禁止漏款。
1. ……
…
11. 声称完成/通过/修复前必须按(第3条)执行反思;……
逐轮续推模板甚至做了"双锚":头部有轮次、预算与合规行,尾部有完整清单(src/prompts.ts:330-344)。
5.3 幂等:清单不能叠两遍
force_suffix 先检查正文是否已含强制句、以及整份清单是否已出现;两者都在就原样返回(src/prompts.ts:277-283)。锚点用整份清单而不是首行,因为主/子清单首行相同,用首行会把异角色残留误判为已注入。
6. 位置分配原则
把三类信息放到三个位置:
| 位置 | 放什么 | 形态 | 反例 |
|---|---|---|---|
| 首因区 | 身份、优先级、绝对禁止 | 短、绝对、稳定 | 具体操作步骤 |
| 中间区 | 证据、历史、示例、细节 | 可检索、可引用 | 硬约束只放这里 |
| 近因区 | 本轮动作清单、高风险触发器 | 编号、命令式、可勾选 | 大段背景说明 |
三条经验:
- 首因要短。开头越长,真正的"绝对禁止"越不显眼。
- 近因要准。只放最容易漏的触发器,不放全部细则;细则用引用指向主条款。
- 中间放证据。模型需要细节,但细节不应该和硬约束抢首尾位置。
7. 反模式
- 两头重复同一细则:首因和近因各写一遍,模型会以为其中一处是过时的;正确做法是首因放约束,近因放触发。
- 近因清单太长:20 条以上,最后几条反而会被忽略;清单本身也要有优先级。
- 每轮都换清单:位置固定的价值在于稳定;清单频繁变化会让模型重新学习。
- 用首因区放动态数据:轮次、预算、费用属于近因区的头部,不是系统提示词。
- 把引用写成模糊指代:"按上面的规则"在长上下文里等于没有引用;要写编号,例如
(第3条)。
8. 局限
- 位置效应不是保证。它降低方差不消除方差;模型仍可能忽略结尾。
- 模型与长度相关。"中间塌陷"的强度随模型、任务、上下文长度变化,不能把论文结论当成常数。
- 过度注入有代价。近因区每轮追加清单会占用上下文,长任务里可能挤掉真正的内容。
- 首因区不能解决冲突。如果两条规则本身矛盾,放在开头只会让矛盾更显眼,不会自动消解。
- 可测性有限。我们能测"位置是否正确注入",很难直接测"模型是否真的更遵循";后者需要对照实验。
9. 结语
首因与近因不是玄学技巧,而是信息架构:开头放不可协商的框架,结尾放此刻必须执行的动作,中间放证据与细节。把它们当成工程资源来分配,提示词才不是一锅越写越长的粥。
证据与边界
- 首因横幅:
src/prompts.ts:42;规则块注入:src/core.ts:14865(output.system.push(SYSTEM_PRINCIPLES))。 - 近因拼接:
src/prompts.ts:277-283(force_suffix,幂等);续推尾部清单:src/prompts.ts:330-344;清单末款:src/prompts.ts:252、:266。 - 注入入口:
rescue_inject_text(src/prompts.ts:285)、role_inject_text(:291)、relay_inject_text(:296)、task_inject_text(:301);调用点如src/core.ts:9220、:13349、:13621。 - 文献:N. F. Liu et al., Lost in the Middle: How Language Models Use Long Contexts, arXiv:2307.03172(TACL 2024);B. B. Murdock, The serial position effect of free recall(1962);M. Glanzer & A. R. Cunitz, Two storage mechanisms in free recall(1966)。
- 边界:本文的"首因/近因"是工程术语,借用了心理学效应与长上下文研究的结论,但不声称二者机制相同;位置效应在具体模型上的强度未做对照实验。
- 行号以本文写作时的
main = bdffa37为准。
更多推荐

所有评论(0)