【论文阅读】Agent 记忆机制(126):ENGRAM——只有权重真正学会后,外部经验才能退出检索
文章目录
- 前言
- 零、论文基本信息
- 一、背景:为什么“把经验训练进权重”并不等于可以删除记忆
- 二、相关工作与 ENGRAM 的位置
- 三、ENGRAM 方法总览
- 四、形式化问题定义
- 五、Engram Trace Graph:经验不是一段纯文本
- 六、Gate 1:示范感知的训练准入
- 七、从 ETG 到候选权重
- 八、Gate 2:只有权重真正替代检索,记录才能释放
- 九、实验设置
- 十、主实验结果
- 十一、消融实验:两个门都不能省
- 十二、逐技能验证与记忆释放
- 十三、释放策略的严格对照
- 十四、效率分析:更少 Token 不一定更低墙钟延迟
- 十五、案例分析与反例
- 十六、与已有 Agent Memory 方法横向比较
- 十七、对 Coding Agent、Tool Agent 与 Multi-Agent 的启发
- 十八、局限性
- 十九、我的理解与启发
- 二十、总结
- 参考资料
前言
在 Agent Memory 这条技术线上,我们已经见过几种不同的努力方向。
A-MEM 关注的是记忆如何被组织成可演化的结构;MAGMA 强调多图、多视角的记忆表达;CoM 试图把记忆管理变成可学习的控制过程;ReMemR1 让 Agent 在写入记忆时主动回看历史;Mem²Evolve 则把重点放在记忆系统自身的持续演化上。
这些工作虽然路线不同,却大多默认了一件事:经验进入外部记忆之后,未来仍要靠检索把它取回来。
这会带来一个长期问题。经验越积越多,检索库越大,在线推理需要处理的候选记录、上下文 Token 和调用次数也会不断增长。一个自然的想法是:既然模型已经反复使用过这些经验,能不能把经验“学进权重”,然后让对应记录退出在线检索?
问题在于,训练过不等于学会了,学会一点也不等于已经足以取代检索。 如果模型刚完成一次参数更新就删除外部经验,很容易出现一种危险状态:权重只吸收了经验的一部分,而原本能够提供完整指导的检索记录已经不可用了。
ENGRAM 正是针对这个缺口提出的。它不只研究“哪些经验应该用于训练”,还把另一个经常被混在一起的问题单独拿出来:什么时候可以安全地让这些经验退出在线检索?
本文的唯一核心增量可以概括为:
ENGRAM 将“允许经验参与训练”和“允许经验退出检索”拆成两个独立门控:前者允许成功的教师示范提前进入训练,后者只有在无检索的新权重通过逐技能验证、能够替代“基础模型+外部记忆”时,才释放对应记录。
因此,ENGRAM 真正重要的不是又设计了一种记忆图,而是建立了一套从外部经验到模型权重的可验证迁移协议。
零、论文基本信息
- 论文名称: ENGRAM: From Agent Experience to Weights through Verified Consolidation
- 发表平台: arXiv:2611.09472(cs.AI,v1,2026 年 11 月 6 日)
- 代码仓库: ENGRAM Anonymous Repository
- 作者: Ruiyi Yang、Zechen Li、Lihuan Li、Du Yin、Hao Xue、Flora D. Salim
一、背景:为什么“把经验训练进权重”并不等于可以删除记忆
1. 外部记忆与参数记忆的分工
Agent 使用经验通常有两条路径:
- 外部检索: 把成功轨迹、反思或事实保存到记忆库,推理时检索相关记录;
- 参数学习: 用经验更新模型参数,使行为能力固化在权重中。
外部记忆更新快、可追溯,也适合保留细节,但会增加检索和上下文成本;参数记忆推理时更轻,却存在训练成本、灾难性遗忘和不完全吸收的问题。理想状态并不是二选一,而是让经验先以外部形式提供支持,随后在充分学习后安全迁移到权重。
2. 现有方案混淆了两个时间点
经验巩固至少包含两个不同判断:
- 学习准备度: 这批经验现在是否值得拿来训练?
- 释放准备度: 训练后的权重是否已经能够替代外部经验?
只按学生当前 mastery 选择训练数据,会漏掉学生还不会、但恰好最有教学价值的教师示范;训练完成后立即释放记录,则可能把尚未完全迁移的能力提前移除。

Figure 1:经验巩固的三种策略。 冻结权重会永久依赖外部经验;无验证释放会在迁移不完整时同时移除不同技能的记录;ENGRAM 逐技能验证,只关闭已经能够由权重独立承担的检索路径,并为未达标技能继续保留 ETG。该图支持“学习完成后仍需单独判断释放”的核心动机。
图中的技能 A 已被参数充分吸收,可以关闭检索;技能 B 仍存在 support gap,因此继续使用外部经验。这里的关键不是全局决定“删或不删”,而是逐技能决定谁可以退出检索。
二、相关工作与 ENGRAM 的位置
1. 检索式 Agent Memory
Mem0、A-MEM、MAGMA 等方法主要优化经验的写入、结构化、关联和召回。它们解决的是“如何让外部记忆更好用”,但外部库通常仍会随交互增长。ENGRAM 与它们并不冲突:这些方法可以充当更强的经验存储层,而 ENGRAM 负责判断何时让某些记录退出在线检索。
2. 经验驱动的参数更新
Reflexion、EvolveR、GRPO、SkillRL 等方法通过反馈、轨迹或奖励改善策略。它们通常关心更新后任务分数是否上升,却很少验证“新权重能否在不检索旧经验时维持能力”。ENGRAM 增加的正是这个对照条件。
3. 持续学习与记忆巩固
持续学习中的 replay、正则化和参数高效微调用于减少遗忘,但 ENGRAM 的关注点更具体:不是单纯防止旧知识丢失,而是决定一条外部经验何时可以从服务路径中撤出。
4. 与 Agent Memory 系列的关系
如果说 A-MEM、MAGMA、CoM 和 Mem²Evolve 主要在回答“记忆如何存在与演化”,ReMemR1 在回答“写入时如何回看”,那么 ENGRAM 回答的是:
一条外部记忆什么时候已经完成使命,可以不再参与在线检索?
三、ENGRAM 方法总览

Figure 2:ENGRAM 整体框架。 学生经验与教师示范先进入 Engram Trace Graph;Gate 1 决定哪些技能可参与训练;LoRA 使用 ETG 上下文进行更新;Gate 2 在保留探针上比较“候选权重、关闭检索”和“基础模型、开启 ETG”;最后按技能选择释放、仅激活或不批准。该图应放在方法开头,用于建立双门控主线。
整个流程可以拆成五步:
- 收集学生轨迹和成功教师示范,写入 Engram Trace Graph;
- 用示范感知的准入门判断哪些技能可进入本轮训练;
- 用 LoRA 对候选策略进行监督微调;
- 在与训练、检索库隔离的保留探针上逐技能验证;
- 对通过验证的技能启用适配器并关闭检索,对未通过技能保留外部记录。
这里存在两个严格分离的门:
- Gate 1 选择“学什么”;
- Gate 2 判断“外部记忆是否可以退出”。
四、形式化问题定义
在第 j j j 次交互中,Agent 把当前观察 o j o_j oj 和历史 h j h_j hj 组织为输入:
x j = P ( o j , h j ) x_j=P(o_j,h_j) xj=P(oj,hj)
策略根据输入与检索上下文生成动作:
a j ∼ π θ t ( ⋅ ∣ x j , c j ) , c j = Retrieve ( x j , M t ) a_j\sim\pi_{\theta_t}(\cdot\mid x_j,c_j),\qquad c_j=\operatorname{Retrieve}(x_j,\mathcal{M}_t) aj∼πθt(⋅∣xj,cj),cj=Retrieve(xj,Mt)
当检索关闭时, c j c_j cj 为空。系统状态不只有参数 θ t \theta_t θt,还包括外部记忆图 M t \mathcal{M}_t Mt、训练回放集合以及每个技能的掌握度 m t , s m_{t,s} mt,s。
因此每轮巩固需要作出两个二元决策:
- u t , s u_{t,s} ut,s:技能 s s s 是否允许参与训练;
- z t , s z_{t,s} zt,s:技能 s s s 的外部记录是否允许退出检索。
把它们写成不同变量看似简单,却是整篇论文最重要的建模选择。若直接令 z t , s = u t , s z_{t,s}=u_{t,s} zt,s=ut,s,就退化为“只要训练就释放”的不安全策略。
五、Engram Trace Graph:经验不是一段纯文本
1. 经验记录
ENGRAM 将每条经验表示为:
e i = ( s i , c i , τ i , y i , p i ) e_i=(s_i,c_i,\tau_i,y_i,p_i) ei=(si,ci,τi,yi,pi)
其中:
- s i s_i si 是技能标签;
- c i c_i ci 是任务或适用条件;
- τ i \tau_i τi 是动作与推理轨迹;
- y i y_i yi 是结果或奖励;
- p i p_i pi 是来源信息,例如学生经验或教师示范。
技能 s s s 对应的记忆集合为:
M t ( s ) = { e i : s i = s } \mathcal{M}_t(s)=\{e_i:s_i=s\} Mt(s)={ei:si=s}
ETG 还记录技能、任务、经验和环境之间的关系,使系统不仅能检索相似文本,还能知道一条轨迹在解决哪个技能、来自哪里、是否成功。

Figure 3:两类 ETG 经验示例。 WebShop 记录从目标理解、选项筛选到购买决策的轨迹;HotpotQA 记录事实检索、单跳推理与桥接推理。前者一次训练后通过验证并释放,后者先保留、后续验证通过后再释放。该图说明释放单位是技能及其适用轨迹,而不是无差别清空整库。
2. 为什么必须保留 provenance
学生成功经验说明模型已经具备一定能力;教师成功示范则可能恰恰来自学生不会的区域。如果不区分来源,系统很难解释为什么一个低 mastery 技能仍值得训练。provenance 因而直接服务于 Gate 1,而不是附加元数据。
六、Gate 1:示范感知的训练准入
1. 只看 mastery 的问题
传统 mastery-only 策略倾向于在学生已经取得一定成功后才训练。这会形成悖论:模型越不会某个技能,越难产生成功轨迹,也越难获得训练资格。
2. 准入公式
ENGRAM 的技能准入条件为:
u t , s = I [ ( m t , s ≥ τ m ∧ n t , s ≥ n min ∧ r t , s ) ∨ d t , s ≥ d min ] u_{t,s}=\mathbb{I}\left[\left(m_{t,s}\ge\tau_m\land n_{t,s}\ge n_{\min}\land r_{t,s}\right)\lor d_{t,s}\ge d_{\min}\right] ut,s=I[(mt,s≥τm∧nt,s≥nmin∧rt,s)∨dt,s≥dmin]
其中 m t , s m_{t,s} mt,s 是掌握度, n t , s n_{t,s} nt,s 是有效经验数量, r t , s r_{t,s} rt,s 表示更新条件满足, d t , s d_{t,s} dt,s 是成功教师示范数量。实验中 d min = 2 d_{\min}=2 dmin=2。
这个公式包含两条准入路径:
- 学生已积累足够能力与证据;
- 即使学生 mastery 很低,只要已有足够成功教师示范,也允许训练。
第二条路径是 demonstration-aware 的关键。它把“学生目前会不会”与“数据是否具有教学价值”分开。
3. 有效参与约束
技能通过准入门后,不代表它一定形成了有效训练样本。作者定义:
b t , s = I [ ∣ D t , s ∣ > 0 ] b_{t,s}=\mathbb{I}[|\mathcal{D}_{t,s}|>0] bt,s=I[∣Dt,s∣>0]
如果技能最终没有进入训练数据, b t , s = 0 b_{t,s}=0 bt,s=0,后续无论探针结果如何都不能释放其记录。这一条件防止“被选中但没有真正学过”的技能误删记忆。
七、从 ETG 到候选权重
ENGRAM 使用 LoRA 进行监督微调。训练样本不仅包含输入与目标动作,也包含从 ETG 得到的相关经验上下文:
L S F T = − E ( x , c , a ) ∼ D ~ [ log π θ ( a ∣ x , c ) ] \mathcal{L}_{\mathrm{SFT}}=-\mathbb{E}_{(x,c,a)\sim\widetilde{\mathcal{D}}}\left[\log\pi_\theta(a\mid x,c)\right] LSFT=−E(x,c,a)∼D [logπθ(a∣x,c)]
训练后的参数记为 θ ′ \theta' θ′。作者在大规模实验中采用一次批量更新;多轮框架允许 replay,但本次规模化实验的首次更新并未实例化 replay。因此,论文证明的是该机制在当前更新设置下有效,还不能直接等价为长期无限轮次的持续学习结论。
一个容易误解的点是:训练时加入 ETG 上下文,并不意味着部署时必须继续检索。训练的目标正是让候选权重逐步吸收这些轨迹;是否已经吸收充分,要交给 Gate 2 判断。
八、Gate 2:只有权重真正替代检索,记录才能释放
1. 公平对照
作者为每个技能准备与训练数据、检索库隔离的开发探针,并比较:
- A t , s W A^W_{t,s} At,sW:候选权重 θ ′ \theta' θ′,关闭 episodic retrieval;
- A t , s M A^M_{t,s} At,sM:基础模型 θ 0 \theta_0 θ0,使用释放前的 ETG 检索。
两者在同一组探针上使用同一评分规则。这个对照直接问:如果现在拿走外部记忆,新权重是否还能达到原有“模型+记忆”的水平?
2. 释放公式
z t , s = u t , s b t , s I [ N t , s > 0 ] I [ A t , s W − A t , s M ≥ δ ] I [ A t , s W > α ] z_{t,s}=u_{t,s}b_{t,s}\mathbb{I}[N_{t,s}>0]\mathbb{I}[A^W_{t,s}-A^M_{t,s}\ge\delta]\mathbb{I}[A^W_{t,s}>\alpha] zt,s=ut,sbt,sI[Nt,s>0]I[At,sW−At,sM≥δ]I[At,sW>α]
五个条件分别表示:
- 技能通过训练准入;
- 技能确实形成了有效训练样本;
- 存在可用的保留探针;
- 无检索候选权重相对“基础模型+记忆”没有超过容许退化;
- 候选权重自身还必须超过绝对能力下限 α \alpha α。
相对门保证权重不会明显弱于原检索系统;绝对门防止“两边都很差,但候选稍好一点”也被误判为可释放。 δ \delta δ 可以为小的负值,意味着系统允许一个明确界定的有限下降,而不是要求每次都严格超越。
3. 三种部署结果
- Release approved: 使用适配器,关闭该技能的 ETG 检索,并归档符合条件的记录;
- Activation only: 适配器有增益,但尚不足以授权释放,部署时仍保留 ETG;
- No approval: 保持基础模型与 ETG。
“适配器可以激活”与“记录可以释放”仍是两种权限。性能变好不自动等于外部支持已无必要。
九、实验设置
1. 基座模型与任务
主实验使用 Qwen3-8B,并在 Llama-3.1-8B 上做跨骨干验证。任务覆盖:
- Crafter: 开放世界探索,以 Progress 衡量;
- ALFWorld: 文本化具身交互,以成功率衡量;
- WebShop: 在线购物交互,以成功率衡量;
- HotpotQA: 多跳问答,以 EM/F1 衡量;
- WebQuestions: 开放域问答,以 EM/F1 衡量;
- FinQA: 金融数值推理,以准确率衡量。
这组任务同时包含长轨迹交互、检索型问答和数值推理,能够检验巩固机制是否只对某一种任务有效。
2. 对比方法
对比基线包括 ReAct、Reflexion、Mem0、EvolveR、GRPO、SkillRL、EDGE、MAGE,以及 QA 场景中的 SuRe、RPG、EmbQA、RoleRAG 等。需要注意,不同任务采用的可用基线不同,因此不能跨列简单比较方法总排名。
十、主实验结果
方法 ALFWorld SR WebShop SR HotpotQA EM/F1 WebQ EM/F1 FinQA ReAct 57.0 40.0 27.6 / 41.3 27.4 / 36.3 − EvolveR 73.8 17.6 40.3 / 54.6 36.0 / 49.8 − MAGE 87.3 84.0 − − 67.5 ENGRAM 90.3 83.4 54.6 / 71.5 40.4 / 53.7 69.3 \begin{array}{l|cc|cc|c}\text{方法}&\text{ALFWorld SR}&\text{WebShop SR}&\text{HotpotQA EM/F1}&\text{WebQ EM/F1}&\text{FinQA}\\\hline\text{ReAct}&57.0&40.0&27.6/41.3&27.4/36.3&-\\\text{EvolveR}&73.8&17.6&40.3/54.6&36.0/49.8&-\\\text{MAGE}&87.3&84.0&-&-&67.5\\\text{ENGRAM}&\mathbf{90.3}&83.4&\mathbf{54.6/71.5}&\mathbf{40.4/53.7}&69.3\end{array} 方法ReActEvolveRMAGEENGRAMALFWorld SR57.073.887.390.3WebShop SR40.017.684.083.4HotpotQA EM/F127.6/41.340.3/54.6−54.6/71.5WebQ EM/F127.4/36.336.0/49.8−40.4/53.7FinQA−−67.569.3
Table 2:Qwen3-8B 上的主要结果摘录。 ENGRAM 在 ALFWorld、HotpotQA 和 WebQuestions 上取得表中最佳结果;WebShop 为 83.4,略低于 MAGE 的 84.0;FinQA 为 69.3,低于 APOLLO 的 70.9。表格支持“跨交互与推理任务稳定有效”,但不支持“所有任务都第一”。
逐任务看:
- ALFWorld: ENGRAM 达到 90.3,超过 MAGE 的 87.3,说明经验巩固对长轨迹交互有效;
- WebShop: 83.4 略低于 MAGE 的 84.0,差距仅 0.6,但不能写成最佳;
- HotpotQA: 54.6 EM、71.5 F1,相比 EvolveR 的 40.3/54.6 有明显提升;
- WebQuestions: 40.4/53.7,超过 EmbQA 的 38.2/52.1;
- FinQA: 69.3,优于 MAGE 的 67.5,但低于 APOLLO 的 70.9。
Crafter 上 ENGRAM 为 34.2 ± 1.4 34.2\pm1.4 34.2±1.4,高于 MAGE 的 33.5 ± 2.3 33.5\pm2.3 33.5±2.3 和 BALROG 的 25.5 ± 3.2 25.5\pm3.2 25.5±3.2。在 Llama-3.1-8B 上,ENGRAM 也在多数任务领先,但 Crafter 为 27.4,略低于 MAGE 的 28.1,进一步说明结论应是跨骨干稳健,而不是绝对统治所有设置。
十一、消融实验:两个门都不能省
变体 Crafter ALF WebShop Hotpot F1 WebQ F1 FinQA 完整 ENGRAM 34.2 90.3 83.4 71.5 53.7 69.3 仅 mastery 准入 30.5 85.8 79.6 68.3 51.8 66.6 冻结 ETG 26.9 82.1 75.0 64.2 50.6 64.0 无激活门 32.7 87.3 80.8 70.1 52.6 68.1 SFT、推理无 ETG 30.8 85.1 78.6 68.0 51.5 66.9 \begin{array}{l|rrrrrr}\text{变体}&\text{Crafter}&\text{ALF}&\text{WebShop}&\text{Hotpot F1}&\text{WebQ F1}&\text{FinQA}\\\hline\text{完整 ENGRAM}&34.2&90.3&83.4&71.5&53.7&69.3\\\text{仅 mastery 准入}&30.5&85.8&79.6&68.3&51.8&66.6\\\text{冻结 ETG}&26.9&82.1&75.0&64.2&50.6&64.0\\\text{无激活门}&32.7&87.3&80.8&70.1&52.6&68.1\\\text{SFT、推理无 ETG}&30.8&85.1&78.6&68.0&51.5&66.9\end{array} 变体完整 ENGRAM仅 mastery 准入冻结 ETG无激活门SFT、推理无 ETGCrafter34.230.526.932.730.8ALF90.385.882.187.385.1WebShop83.479.675.080.878.6Hotpot F171.568.364.270.168.0WebQ F153.751.850.652.651.5FinQA69.366.664.068.166.9
Table 3:关键组件消融。 完整 ENGRAM 在六项指标上均优于四个变体;相对冻结 ETG 的提升为 3.1 至 8.4 个点。该表支持教师示范准入、选择性适配器激活与未验证技能保留检索三者都有独立作用。
具体来看:
- Mastery-only 全面下降。 最大下降出现在 ALFWorld,说明当学生尚不会时,成功教师示范是打破冷启动的重要来源;
- ETG frozen 最弱。 只检索而不把经验迁移进权重,会留下明显性能上限;
- 去掉 activation gate 也下降。 适配器不能在所有技能上无条件启用,逐技能路由有必要;
- SFT 后直接关闭 ETG 仍明显变差。 这正是论文动机:训练过的技能不一定都已经可以脱离外部支持。
十二、逐技能验证与记忆释放

Figure 4:HotpotQA 的技能级释放。 在 600 条经验上,五类技能中三类通过验证;复杂问题解析因候选权重弱于 Base+ETG 而保留,多答案处理虽有相对改善却未超过 50% 的绝对门槛。最终 331 条记录转为归档、269 条保持可检索,可检索足迹下降 55.2%,但总保留记录仍是 600。
这张图最能体现 ENGRAM 与普通“训练后清库”的差别:
- answer retrieval、entity recognition、relation identification 通过相对与绝对门;
- complex question parsing 的候选权重不如基础模型加 ETG,继续保留检索;
- multi-answer handling 虽比原对照更好,却低于 50% 的绝对能力下限,也不能释放。
因此,“相对变好”只是必要条件,不是充分条件。
十三、释放策略的严格对照
策略 EM F1 Δ F1 [95% CI] 可检索 归档 全部保留 54.4 71.1 参考 600 0 立即释放 50.9 66.8 − 4.3 [ − 4.6 , − 4.0 ] 13 587 随机释放 51.6 67.6 − 3.5 [ − 3.9 , − 3.1 ] 269 331 验证后释放 54.0 70.9 − 0.2 [ − 0.6 , 0.2 ] 269 331 \begin{array}{l|rr|r|rr}\text{策略}&\text{EM}&\text{F1}&\Delta\text{F1 [95\% CI]}&\text{可检索}&\text{归档}\\\hline\text{全部保留}&54.4&71.1&\text{参考}&600&0\\\text{立即释放}&50.9&66.8&-4.3[-4.6,-4.0]&13&587\\\text{随机释放}&51.6&67.6&-3.5[-3.9,-3.1]&269&331\\\text{验证后释放}&54.0&70.9&-0.2[-0.6,0.2]&269&331\end{array} 策略全部保留立即释放随机释放验证后释放EM54.450.951.654.0F171.166.867.670.9ΔF1 [95% CI]参考−4.3[−4.6,−4.0]−3.5[−3.9,−3.1]−0.2[−0.6,0.2]可检索60013269269归档0587331331
Table 4:固定检查点下的释放策略对照。 验证释放与随机释放保持相同的可检索预算,但 F1 高出 3.3;相对全部保留仅下降 0.2,置信区间跨过 0。它支持“验证比随机或立即释放更安全”,但不能严格宣称性能完全无损。
这里有三个必须谨慎表述的结论:
- 验证释放接近 retain-all,而不是数学意义上的零损失;
- 331 条记录被归档,并未从所有存储中删除;
- 实验使用固定 SFT 检查点,主要隔离验证规则本身的效果,并不是长期多轮训练的完整模拟。
十四、效率分析:更少 Token 不一定更低墙钟延迟
1. ALFWorld
方法 延迟/s 调用数 输入/千Token 输出/千Token SR Base+ETG 43.76 29.50 81.24 1.66 82.1 SFT no ETG 60.53 22.58 35.76 1.30 85.1 ENGRAM 65.91 25.50 46.50 1.51 90.3 \begin{array}{l|rrrrr}\text{方法}&\text{延迟/s}&\text{调用数}&\text{输入/千Token}&\text{输出/千Token}&\text{SR}\\\hline\text{Base+ETG}&43.76&29.50&81.24&1.66&82.1\\\text{SFT no ETG}&60.53&22.58&35.76&1.30&85.1\\\text{ENGRAM}&65.91&25.50&46.50&1.51&90.3\end{array} 方法Base+ETGSFT no ETGENGRAM延迟/s43.7660.5365.91调用数29.5022.5825.50输入/千Token81.2435.7646.50输出/千Token1.661.301.51SR82.185.190.3
Table 5a:ALFWorld 在线成本。 相对 Base+ETG,ENGRAM 输入 Token 减少 42.8%,调用次数减少 13.6%,成功率提高 8.2 点;但墙钟延迟从 43.76 秒升至 65.91 秒。因此论文支持 Token 与调用效率改善,不支持在所有交互任务上更快。
2. WebQuestions
方法 延迟/s 调用数 输入/千Token 输出/千Token F1 Base+ETG 1.67 1 1.78 0.07 50.6 SFT no ETG 0.86 1 1.74 0.02 51.5 ENGRAM 1.26 1 1.75 0.04 53.7 \begin{array}{l|rrrrr}\text{方法}&\text{延迟/s}&\text{调用数}&\text{输入/千Token}&\text{输出/千Token}&\text{F1}\\\hline\text{Base+ETG}&1.67&1&1.78&0.07&50.6\\\text{SFT no ETG}&0.86&1&1.74&0.02&51.5\\\text{ENGRAM}&1.26&1&1.75&0.04&53.7\end{array} 方法Base+ETGSFT no ETGENGRAM延迟/s1.670.861.26调用数111输入/千Token1.781.741.75输出/千Token0.070.020.04F150.651.553.7
Table 5b:WebQuestions 在线成本。 ENGRAM 比 Base+ETG 快 24.6%,同时 F1 提高 3.1;纯 SFT 更快,但比 ENGRAM 低 2.2 F1。该结果说明是否关闭检索需要在质量与延迟之间按技能选择。
十五、案例分析与反例
1. WebShop:一次验证通过,但并非所有样本都改善
教师示范展示了如何为“kelly green、3X-large、60 美元以下的 hoodie”完成搜索、筛选和购买。第一次更新使用 288 个样本,候选权重与 Base+ETG 在三个探针上均为 3/3,因此 option selection 技能获准释放。
在新的 navy hoodie 任务中,系统第一步仍由 Base+保留 ETG 进行搜索,随后路由到已批准适配器并关闭检索,最终完成购买。
但作者额外检查 100 个目标时,ENGRAM 成功 47 个,Base 成功 44 个;其中有 14 个从失败变成功,也有 11 个从成功变失败。这个反例说明平均分提升并不代表逐样本单调改善,有限探针仍可能漏掉回归。
2. HotpotQA:先保留,再释放
教师轨迹通过 D.C. Cab 与 Barney Miller 的共同演员找到 Max Gail。第一次更新后,候选权重在五个探针上只答对 2 个,而 Base+ETG 答对 4 个,因此系统拒绝释放。
第二次更新后,候选权重为 3/5,Base+ETG 为 2/5,满足门槛后才获准释放。随后在关于 Richard Williams 助理及体育名人堂的保留问题上,无检索适配器给出正确答案 Campbellsville University,而基础模型回答错误。
这个案例表明,ENGRAM 的价值不只在“释放”,也在于知道什么时候不该释放。
十六、与已有 Agent Memory 方法横向比较
方法 主要对象 核心机制 是否验证退出检索 A-MEM 记忆节点与链接 动态组织、关联演化 否 MAGMA 多视角记忆图 多图表达与检索 否 CoM 记忆管理动作 学习何时写、读、改 否 ReMemR1 写入过程 更新时回溯历史记忆 否 Mem 2 Evolve 记忆系统本身 长期自演化 否 ENGRAM 经验到权重的迁移 双门控与逐技能替代验证 是 \begin{array}{l|l|l|l}\text{方法}&\text{主要对象}&\text{核心机制}&\text{是否验证退出检索}\\\hline\text{A-MEM}&\text{记忆节点与链接}&\text{动态组织、关联演化}&\text{否}\\\text{MAGMA}&\text{多视角记忆图}&\text{多图表达与检索}&\text{否}\\\text{CoM}&\text{记忆管理动作}&\text{学习何时写、读、改}&\text{否}\\\text{ReMemR1}&\text{写入过程}&\text{更新时回溯历史记忆}&\text{否}\\\text{Mem}^{2}\text{Evolve}&\text{记忆系统本身}&\text{长期自演化}&\text{否}\\\text{ENGRAM}&\text{经验到权重的迁移}&\text{双门控与逐技能替代验证}&\text{是}\end{array} 方法A-MEMMAGMACoMReMemR1Mem2EvolveENGRAM主要对象记忆节点与链接多视角记忆图记忆管理动作写入过程记忆系统本身经验到权重的迁移核心机制动态组织、关联演化多图表达与检索学习何时写、读、改更新时回溯历史记忆长期自演化双门控与逐技能替代验证是否验证退出检索否否否否否是
横向比较:ENGRAM 在 Agent Memory 谱系中的位置。 它不以更复杂的存储结构取胜,而是补上“参数已经足以替代检索”的验收与释放环节。因此它更适合作为现有记忆系统之上的巩固层,而不是直接替代 A-MEM 或 MAGMA。
十七、对 Coding Agent、Tool Agent 与 Multi-Agent 的启发
1. Coding Agent
Coding Agent 会积累修复轨迹、项目约定和工具使用经验。可以把技能定义为“定位依赖冲突”“修复某类测试失败”“遵循仓库提交规范”等:
- 新项目早期保留成功修复记录并检索;
- 使用教师补丁或人工审查通过的轨迹训练项目适配器;
- 在独立回归测试上比较“适配器无检索”与“基础模型+历史补丁检索”;
- 只有通过测试的技能才从在线检索索引中退出。
这比“把所有历史提交都塞进向量库”更有扩展性,也比微调完成后直接清理历史更安全。
2. Tool Agent
工具调用能力天然适合技能级验证,例如日历创建、表格更新、工单查询。每个技能可以拥有模拟环境探针,同时检查:
- 调用的工具是否正确;
- 参数是否完整;
- 副作用是否符合预期;
- 不检索示范时能否稳定完成。
对于高风险工具,绝对门槛应远高于普通问答,甚至要求零关键错误,而不能只看平均成功率。
3. Multi-Agent
多 Agent 系统可以把成功协作轨迹视为外部组织记忆,例如任务分派、交接格式与冲突解决。ENGRAM 启发我们把“协议学进各 Agent”与“删除共享协作记录”分开验收。即使某个 Agent 已学会协议,只要其他角色仍依赖共享轨迹,就不应释放整条团队记忆。
十八、局限性
1. 有限探针无法覆盖真实分布
释放决定取决于每个技能的一小组开发探针。WebShop 中 11 个成功样本转为失败已经表明,探针通过并不意味着所有输入上都不退化。实际系统应加入更大的回归集、分层抽样和发布后的回滚机制。
2. 技能标签与路由质量是隐含前提
ENGRAM 需要知道经验属于哪个技能,也需要在部署时选择正确适配器。如果技能边界含糊或路由错误,可能出现错误关闭检索。论文要求路由只使用部署时可见信息,避免数据泄漏,但并未消除路由误差。
3. 归档不等于删除
Figure 4 中总记录仍为 600,只是 331 条不再在线可检索。系统降低了服务路径中的检索足迹,却没有证明总存储成本同步下降;训练数据还被单独保存。
4. 长期多轮巩固仍需验证
框架形式上支持多轮更新和 replay,但规模化实验主要是单批更新。多个适配器长期累积、技能相互干扰、旧技能回归以及归档记录何时彻底淘汰,都仍是开放问题。
5. 门槛与节奏依赖任务
α \alpha α、 δ \delta δ、探针数量和更新频率都需要按任务调整。问答 F1 的可接受下降,不能直接迁移到会产生真实副作用的工具 Agent。
6. 教师示范有额外成本
demonstration-aware admission 的收益建立在高质量成功示范可获得的前提上。教师模型调用、人工校验和失败示范过滤都会带来成本,论文没有证明在所有场景下都比持续检索更经济。
十九、我的理解与启发
1. ENGRAM 把记忆删除变成了一个验收问题
过去我们往往把记忆生命周期写成“写入—检索—更新—删除”。ENGRAM 更合理的表达是:
写入外部记忆 → 用于教学 → 形成候选能力 → 与原检索系统对照验收 → 释放或继续保留。
这样一来,删除不再是按时间、容量或训练轮数触发的清理动作,而是一个有证据的能力交接。
2. 真正应该被压缩的是在线依赖,而不一定是所有历史
作者选择 archive 而非彻底删除其实很务实。历史记录仍可用于审计、回滚和再训练,只是不再占用在线检索预算。对生产系统而言,“冷存储保留、热索引退出”通常比不可逆删除更合理。
3. 释放规则也是一种安全边界
相对门回答“新权重是否至少接近旧系统”,绝对门回答“它本身是否足够可靠”。这和软件发布中的差分测试与最低质量门禁非常相似。未来 Agent Memory 的核心组件可能不只是数据库,而是一套带回归测试的发布流水线。
4. 最值得继续研究的是可逆巩固
当前 ENGRAM 释放后仍保留归档,实际上已经留下了回滚基础。下一步可以加入线上漂移检测:若某技能表现下降,自动重新开放对应 ETG,收集新经验,再次训练和验证。这样记忆就不再是单向从外部进入权重,而是可以在“检索支持”和“参数承担”之间动态切换。
二十、总结
ENGRAM 的贡献不是简单地用 SFT 压缩记忆,也不是再造一个更复杂的记忆图。它指出了经验巩固中长期被忽略的两个时刻:经验什么时候值得学习,以及权重什么时候已经足以让经验退出检索。
通过示范感知准入、ETG 上下文训练、保留探针上的逐技能对照,以及相对与绝对双重释放门槛,ENGRAM 在多个交互和推理任务上提高性能,并把 HotpotQA 的可检索记录减少 55.2%,同时保持接近全部保留的质量。
一句话总结:
ENGRAM 让 Agent 不再因为“训练过”就遗忘外部经验,而是只有在权重通过无检索替代测试后,才允许记忆安全退出在线服务。
参考资料
更多推荐



所有评论(0)