---

前言

长期运行的 Agent 不只是需要记住过去，还需要把过去的经验逐步变成自己的能力。

假设一个 Web Agent 多次执行购物任务后，总结出一条 Skill Memory：

搜索商品时，先确认属性筛选条件，再比较价格，最后检查购买按钮是否对应目标规格。

最直接的做法，是每次遇到相似任务时把这条技能放进 Prompt。这样确实能提高当前任务表现，但 Agent 的成功仍依赖外部记忆库：一旦没有检索到这条经验，能力也随之消失。

更理想的目标是将技能“内化”进模型参数。Agent 即使不再看到 Skill Memory，也能复现相同的状态判断、规划逻辑和纠错行为。这也是自进化 Agent 与普通 RAG Memory 的关键差别：记忆不仅服务于下一次推理，还应该成为策略学习的训练信号。

此前的 Agent Memory 系列更多讨论如何构建、关联、检索和演化外部记忆。例如 A-MEM 建立动态关联，MAGMA 用多图组织多粒度经验，ReMemR1 允许写入阶段回看历史，Mem²Evolve 关注记忆系统自身的演化。MDSKILL 则把问题推进到另一个层面：如何将外部文本技能可靠地蒸馏回共享策略。

问题在于，Agent 自己生成的技能并不天然适合作为教师：

• 有些技能来自偶然成功，策略本身并不可靠；
• 有些技能已经被当前策略掌握，继续注入只会增加冗余；
• 多条技能分别负责观察、规划和执行控制，混在同一个 Prompt 中会发生功能纠缠；
• 不同技能可能冲突，让 Token 级蒸馏产生不稳定梯度；
• Skill-View 分支甚至可能比不使用技能的 Skill-Free 分支更差。

MDSKILL 的做法不是继续扩大技能库，而是将技能拆成三种功能视角——State Grounding、Action Planning 和 Execution Control——分别探索，再根据实际成败动态决定知识应该正向、反向还是跨视角传递。

一句话核心增量：MDSKILL 将纠缠的 Skill Memory 拆解为 Grounding、Planning、Control 三种功能视角，并通过结果门控的多向自蒸馏，把可靠且互补的外部经验选择性内化到共享策略中。

这篇论文最重要的思想是：Skill Memory 并不天然是 Teacher；谁教谁，应该由同一状态下的实际任务结果决定。

零、论文基本信息

• 论文名称： MDSKILL: Learning to Internalize Skill Memory through Multi-View Distillation for Efficient Dynamic Agent Self-Evolution
• 发表平台： arXiv
• 代码仓库： MDSKILL 匿名代码仓库
• 作者： Dian Jin、Jinluan Yang、Kairong Han、Baohong Li、Zijing Hu、Yi He、Wenlin Zhong、Yunze Tong、Minqin Zhu、Linchuan Li、Yanan Niu、Kun Kuang

一、Skill Memory 为什么需要内化

1. 外部记忆增强与能力内化不是一回事

Skill-Augmented Agent 在每次行动前检索历史经验，并将技能作为文本提示加入上下文。它提升的是条件策略：

$$a_t\sim {\pi }_{\theta }(\cdot \mid x,h_t,m_t)$$

其中 $x$ 是任务指令，$h_t$ 是当前交互历史，$m_t$ 是检索到的技能记忆。

真正的内化要求模型在没有 $m_t$ 时仍能行动：

$$a_t\sim {\pi }_{\theta }(\cdot \mid x,h_t)$$

这两条分支共享参数 $\theta$。如果只有 Skill-View 变强，而 Skill-Free 没有改善，系统仍然依赖外部记忆；只有 Skill-Free 同步提升，才能说明经验已经进入策略参数。

2. 稀疏奖励不足以传递细粒度经验

Agentic RL 通常只在轨迹结束时获得成败奖励：

$${\mathcal{J}}_{\mathrm{RL}}(\theta )={\mathbb{E}}_{\tau \sim {\pi }_{\theta }}[R(\tau )]$$

一条 20 步轨迹最终失败，并不能告诉模型第 7 步的观察误读、第 11 步的规划失误和第 15 步的重复操作分别应如何修正。Skill Memory 可以总结这些经验，但若只把技能用于 Prompt，策略参数仍缺少细粒度监督。

3. OPSD 提供 Token 级内化路径

On-Policy Self-Distillation 让 Skill-View 分支充当教师，Skill-Free 分支模仿其 Token 分布：

$${\mathcal{L}}_{\mathrm{OPSD}}={\mathbb{E}}_{\tau \sim {\pi }_{\theta }(\cdot \mid x,m)}\left[\frac{1}{|\tau |}\sum _t{D}_{\mathrm{KL}}\left({\pi }_{\bar{\theta }}(\cdot \mid x,h_t,m_t)\Vert {\pi }_{\theta }(\cdot \mid x,h_t)\right)\right]$$

$\bar{\theta }$ 表示停止梯度的教师参数。相比轨迹级奖励，这个目标可以在每个 Token 上提供稠密监督。

问题在于：OPSD 默认 Skill-View 是可靠教师，而自生成技能并不满足这个前提。

二、直接蒸馏为何会失败

1. Skill-View 可能是错误教师

技能可能来自不完整反思、偶然成功或错误归因。将它加入 Prompt 后，模型反而可能执行更差。如果仍让 Skill-Free 模仿 Skill-View，错误会被直接写入共享参数。

2. 功能纠缠让监督来源不可辨认

一条成功轨迹可能同时使用：

• 用于识别物体状态的 Grounding 技能；
• 用于选择子目标顺序的 Planning 技能；
• 用于检测重复失败的 Control 技能。

如果三类经验混在一个 Prompt 中，即使轨迹成功，也很难知道是哪一类技能贡献了正确行动。冗余和冲突会让蒸馏梯度方向不稳定。

3. 已经掌握的技能会变成冗余

某条技能早期可能显著提升成功率，但随着策略学习，它的内容已经被内化。继续高频检索并蒸馏这条技能，既浪费训练预算，也可能阻碍新知识进入。

4. 固定 Teacher–Student 方向不合理

如果 Skill-View 成功而 Skill-Free 失败，正向蒸馏合理；如果 Skill-Free 成功而 Skill-View 失败，反向蒸馏才合理；如果不同 Skill View 表现不同，还需要跨视角传递。

因此，教师身份不能由“是否带技能”预先决定，而应由同一状态下的结果决定。

三、蒸馏方向的预实验

作者首先比较四种方案：不蒸馏、Skill-View → Skill-Free 的 Forward Distillation、反方向的 Reverse Distillation，以及双向蒸馏。

Figure 2：WebShop 上不同蒸馏方向的训练成功率。 所有蒸馏方案整体优于不蒸馏，但单独进行正向蒸馏明显不稳定；反向蒸馏表现最好，甚至高于直接双向蒸馏。

1. 为什么反向蒸馏更有效

当不带技能的轨迹成功、带技能的轨迹失败时，说明 Skill Memory 对当前策略产生了有害影响。让 Skill-View 模仿成功的 Skill-Free，可以教模型抵抗错误技能，而不会把噪声直接传播到共享策略。

Skill Memory 中有用的部分仍能通过 RL 间接进入参数：技能引导产生更高奖励轨迹，RL 会强化这些行为。因此，反向蒸馏并不意味着完全拒绝技能知识，而是避免用不可靠 Skill-View 提供稠密 Token 监督。

2. 分布错位证据

Figure 3：正向与反向蒸馏的 Top-K Token 重合率和熵差。 正向蒸馏的 Token 重合率低且波动大，绝对熵差更高；反向蒸馏的重合率逐渐提高，熵差更小、更稳定。

正向蒸馏要求不带 Skill Prompt 的 Student 复现带 Skill Prompt 的 Teacher 分布，但 Student 看不到教师使用的外部信息，形成条件分布错位。反向蒸馏主要是在 Skill-Free 已经成功时纠正 Skill-View，因此输入差异带来的错误监督更少。

3. 预实验带来的真正结论

结论不是“永远不要正向蒸馏”。Forward Distillation 仍然优于完全不蒸馏，说明技能中确实包含可内化知识。问题是如何识别可靠技能、分离不同功能，并只在技能真正带来增益时开启正向传递。

四、MDSKILL 方法总览

下面是论文最重要的框架图。

Figure 4：MDSKILL 详细框架。 系统动态维护 Skill Reliability 与 Advantage，从三个功能记忆库检索技能，生成 Grounding、Planning、Control、Combined 及 Skill-Free 轨迹，再按同一 Anchor State 下的成败关系建立正向、反向和跨视角蒸馏对。

完整闭环包括：

1. Agent 与环境交互，生成成功和失败轨迹；
2. 从轨迹中分别反思 Grounding、Planning、Control 技能；
3. 动态评估技能当前是否可靠、是否仍带来额外收益；
4. 在每个 Anchor State 同时生成多种视角轨迹；
5. 用实际结果决定 Teacher 和 Student；
6. 将互补知识蒸馏进共享策略；
7. 改进后的策略产生更高质量轨迹和新技能，继续下一轮自进化。

五、模块一：动态技能价值

1. 为什么不能只按相似度检索

语义相似只能说明技能和当前任务讨论相近内容，不能说明技能可靠，也不能说明当前策略还需要它。MDSKILL 在相关性筛选之后，维护两个随策略变化的指标：

• Reliability： 使用该技能时，任务实际成功的概率；
• Advantage： 该技能相对 Skill-Free 基线带来的额外价值。

2. 动态证据

对于使用技能 $m$ 的一次 rollout，令 y ∈ { 0 , 1 } y\in\{0,1\} y∈{0,1} 表示是否成功，${\bar{y}}_{\mathrm{free}}$ 表示同一任务上 Skill-Free 轨迹的平均成功率：

$$z^{\mathrm{rel}}=y$$

$$z^{\mathrm{adv}}=\frac{1+y-{\bar{y}}_{\mathrm{free}}}{2}$$

若技能成功而 Skill-Free 经常失败，Advantage 较高；如果 Skill-Free 已经可以解决任务，技能的边际价值下降。

3. 时间衰减 Beta 后验

每个指标维护一组 Beta 分布参数：

$$w_{t,i}=2^{-\frac{t-t_i}{H}}$$

$${\alpha }_{m,t}^d=1+\sum _{i\in {\mathcal{E}}_m(t)}{w}_{t,i}{z}_i^d$$

$${\beta }_{m,t}^d=1+\sum _{i\in {\mathcal{E}}_m(t)}{w}_{t,i}(1-z_i^d)$$

d ∈ { r e l , a d v } d\in\{\mathrm{rel},\mathrm{adv}\} d∈{rel,adv}，$H$ 是半衰期。旧证据随时间衰减，防止一个早期有用但已被内化的技能长期占据检索顶部。

4. Thompson Sampling

系统先按嵌入相似度选候选集：

$${\mathcal{C}}_t(x)={\mathrm{TopK}}_{m\in {\mathcal{M}}_t}\mathrm{sim}(x,c_m)$$

再分别从 Reliability 和 Advantage 的 Beta 后验采样：

$${\tilde{q}}_{m,t}^d\sim \mathrm{Beta}({\alpha }_{m,t}^d,{\beta }_{m,t}^d)$$

最终排序分数为：

$$S_t(m)={\tilde{q}}_{m,t}^{\mathrm{rel}}+{\tilde{q}}_{m,t}^{\mathrm{adv}}$$

Thompson Sampling 同时实现利用与探索：证据充分、表现稳定的技能更容易被选中；样本少但不确定性高的新技能仍有机会被探索，不会被早期偶然成功永久压制。

六、模块二：三种功能 Skill View

1. State Grounding

回答“当前情境中已知什么”。该视角提取：

• 与任务相关的环境观察；
• 物体状态与约束；
• 缺失信息；
• 事实与假设的区别。

Grounding 技能指导 Agent 先检查环境、补齐证据，再决定下一步。

2. Action Planning

回答“在现有信息下下一步做什么”。它关注：

• 子目标划分；
• 操作顺序；
• 替代行动路径；
• 可跨任务复用的策略。

3. Execution Control

回答“当前执行是否应该继续”。它负责：

• 检查动作前提；
• 发现无效重复；
• 验证中间结果；
• 在观察与预期不一致时纠错或重规划。

4. Combined Branch

Combined Branch 从每个记忆库取一条高分技能，把观察解释、行动规划和执行监控结合起来。它用于探索三种功能交互后可能产生的整体方案。

下面这个 ALFWorld 案例能帮助理解不同视角为什么不能简单混写成一条技能。

Figure 5：ALFWorld 中的多视角技能指导。 Grounding 关注物体与环境状态，Planning 关注操作序列，Control 关注执行检查与错误恢复；三种技能从不同决策环节影响同一任务。

MDSKILL 不是让三个独立模型分别学习这些能力。不同分支仍共享同一策略参数，视角只用于构造更可解释、更少纠缠的探索和蒸馏信号。

七、模块三：Knowledge-Gain Gate

1. Anchor State

为了公平比较，MDSKILL 将同一任务、同一 Anchor State 下的 Skill-Free 与 Skill-View 轨迹分组。只有在相同决策起点上比较成败，才能判断 Skill Memory 是否真正带来了增益。

令 ${\mathcal{T}}_a^0$ 为 Anchor $a$ 的 Skill-Free 轨迹，${\mathcal{T}}_a^{+}$ 为所有 Skill-View 轨迹：

$$n_a^0=\sum _{\tau \in {\mathcal{T}}_a^0}y(\tau )$$

$$n_a^{+}=\sum _{\tau \in {\mathcal{T}}_a^{+}}y(\tau )$$

2. Strict Gate

$${\gamma }_a^{\mathrm{strict}}=\mathbb{I}[n_a^{+}>n_a^0\wedge n_a^0=0]$$

只有当 Skill-View 成功次数更多，并且 Skill-Free 全部失败时，才认为技能提供了明确新增知识。

3. Relaxed Gate

$${\gamma }_a^{\mathrm{relaxed}}=\mathbb{I}[n_a^{+}>n_a^0]$$

只要 Skill-View 表现更好就允许正向或跨视角蒸馏。

4. 模型规模影响 Gate 选择

论文对 Qwen3-1.7B 使用 Strict Gate，对 3B 和 7B 使用 Relaxed Gate。较小模型生成和使用的技能噪声更大，需要更强证据才能允许 Forward Distillation；较大模型技能质量更高，Relaxed Gate 能开放更多有效 Teacher–Student 对。

这说明 Gate 不是一个跨模型固定超参数，而是对教师可靠性的估计。

八、模块四：结果驱动的三向蒸馏

1. Teacher–Student 选择

对同一 Anchor 下的教师轨迹 ${\tau }_t$ 与学生轨迹 ${\tau }_s$，必须先满足：

$$y({\tau }_t)>y({\tau }_s)$$

也就是说，教师必须成功而学生失败。再结合分支来源与 Knowledge-Gain Gate：

$$g_a({\tau }_t,{\tau }_s)=\mathbb{I}[y({\tau }_t)>y({\tau }_s)]\cdot \{\begin{array}{ll}{\gamma }_a,& v_t\ne 0,v_s=0\\ 1-{\gamma }_a,& v_t=0,v_s\ne 0\\ {\gamma }_a,& v_t\ne 0,v_s\ne 0,v_t\ne v_s\\ 0,& \text{otherwise}\end{array}$$

$v=0$ 表示 Skill-Free，非零表示某种 Skill View。

2. Forward Distillation

Skill-View 成功、Skill-Free 失败且 Gate 开启时，知识从技能分支传给无技能分支。这是最直接的“技能内化”。

3. Reverse Distillation

Skill-Free 成功、Skill-View 失败且 Gate 未开启时，知识反向传递，用成功的无技能行为纠正错误技能影响。

4. Cross-View Distillation

某个 Skill View 成功、另一个视角失败且 Gate 开启时，成功视角向失败视角传递。例如，Control 分支发现了重复行动错误，可以纠正 Planning 分支。

这三种方向共同解决一个关键问题：外部记忆并不拥有固定教师权威，Teacher 是由当前策略、当前任务和当前结果动态产生的。

九、多视角蒸馏目标

对所有合法 Teacher–Student 对，论文在教师 Top-$K_D$ Token 支持集上计算 KL：

$${\mathcal{L}}_{\mathrm{MD}}=\frac{1}{|{\mathcal{I}}_{\mathrm{MD}}|}\sum _{(a,t,s,\ell )\in {\mathcal{I}}_{\mathrm{MD}}}{D}_{\mathrm{KL}}\left(\mathrm{sg}[{\bar{p}}_{t,\ell }]\Vert {\bar{p}}_{s,\ell }\right)$$

$\mathrm{sg}$ 表示停止教师梯度，${\bar{p}}_{t,\ell }$ 与 ${\bar{p}}_{s,\ell }$ 是归一化 Token 分布。

完整训练目标为：

$$\mathcal{L}={\mathcal{L}}_{\mathrm{RL}}+{\lambda }_{\mathrm{MD}}{\mathcal{L}}_{\mathrm{MD}}+{\beta }_{\mathrm{KL}}{\mathcal{L}}_{\mathrm{KL}}$$

• ${\mathcal{L}}_{\mathrm{RL}}$：GiGPO 强化学习目标；
• ${\mathcal{L}}_{\mathrm{MD}}$：多视角蒸馏；
• ${\mathcal{L}}_{\mathrm{KL}}$：限制策略偏离参考模型；
• ${\lambda }_{\mathrm{MD}}$：蒸馏权重；
• ${\beta }_{\mathrm{KL}}$：策略正则强度。

十、多视角为何可能更稳定

附录给出一个理想化方差解释。假设混合技能轨迹的梯度来自多个潜在功能视角：

$$p_{\mathrm{mix}}^{\mathrm{ideal}}(G\mid x,Y=1)=\sum _{v\in {\mathcal{V}}_{\mathrm{f}}}{\alpha }_{v}p(G\mid x,Y=1,V=v)$$

总梯度方差可以分解为视角内方差与视角间方差：

$${\sigma }_{\mathrm{within}}^2=\sum _v{\alpha }_v\mathbb{E}[\Vert G-{\mu }_v{\Vert }^2\mid x,Y=1,V=v]$$

$${\sigma }_{\mathrm{between}}^2=\sum _v{\alpha }_v\Vert {\mu }_v-\bar{\mu }{\Vert }^2$$

未经分层的混合采样估计方差为：

$$\mathbb{E}[\Vert {\hat{G}}_{\mathrm{mix}}-\bar{\mu }{\Vert }^2]=\frac{{\sigma }_{\mathrm{within}}^2+{\sigma }_{\mathrm{between}}^2}{B}$$

按固定视角比例采样后：

$$\mathbb{E}[\Vert {\hat{G}}_{\mathrm{MV}}-\bar{\mu }{\Vert }^2]=\frac{{\sigma }_{\mathrm{within}}^2}{B}$$

差值为：

$$\frac{{\sigma }_{\mathrm{between}}^2}{B}\ge 0$$

直觉是，多视角分层移除了“每个 Batch 恰好混入多少 Grounding、Planning、Control 梯度”的随机性。

但论文也明确限定：这是理想化参考模型，并没有刻画真实混合 Prompt 中技能交互；结果门控和不同响应长度也会改变有效样本数。Figure 6 中的 Token 重合率和熵差只提供与该机制一致的证据，并不直接测量梯度方差。

十一、实验设置

1. 三个 Benchmark

ALFWorld

测试家庭环境导航与物体操作，包含 Pick、Look、Clean、Heat、Cool 和 Pick2 六类任务，报告成功率。

WebShop

要求 Agent 根据自然语言需求检索并购买商品，使用固定 128 任务评测集，报告 Task Score 与 Success Rate。

Search-QA

包含三个 Single-Hop 与四个 Multi-Hop 数据集，评估搜索增强问答准确率。

2. Backbone

• Qwen3-1.7B；
• Qwen2.5-3B-Instruct；
• Qwen2.5-7B-Instruct。

3. Baseline

Skill-Free RL 包括 GRPO、GiGPO；Skill-Augmented 包括 SkillRL、D2Skill、SkillC、SAPO、Skill1；Self-Distillation 包括 OPSD、RLSD、Skill-SD、SDAR、StepOPSD 和 UCOB。

论文强调这些方法不依赖更强外部 Teacher Model，比较的是同规模模型如何利用自身生成经验。

4. 训练配置

所有任务训练 150 Steps，Rollout Group Size 为 8，训练 Batch Size 为 16，验证 Batch Size 为 128，Actor Learning Rate 为 $10^{-6}$，每 25 Steps 验证一次。

每组轨迹分配为：

$$\text{Skill-Free}:\text{Grounding}:\text{Planning}:\text{Control}:\text{Combined}=4:1:1:1:1$$

实验使用 8 张 NVIDIA A100。论文所说“不增加额外计算开销”，指与对照方法保持相同 Rollout Budget，而不是训练本身廉价。

5. 检索配置

每种功能库先用 all-MiniLM-L6-v2 检索 10 个候选，相似度阈值 0.4。每个 View-Specific Branch 选择 3 条技能，Combined Branch 从每个库选 1 条。Beta 后验从 $\mathrm{Beta}(1,1)$ 开始，时间半衰期为 20 Steps。

十二、主实验结果

原 Table 1 非常宽，下面保留三个 Backbone 的核心总体指标。

$$\begin{array}{cccccc}\text{Backbone}& \text{方法}& \text{ALFWorld Succ}& \text{WebShop Score}& \text{WebShop Succ}& \text{Search-QA Avg}\\ \text{Qwen3-1.7B}& \text{GiGPO}& 80.5& 70.0& 45.3& 41.0\\ & \text{UCOB}& 86.7& 90.3& 74.7& 41.9\\ & \text{MDSKILL}& 93.8& 88.7& 82.8& 42.1\\ \text{Qwen2.5-3B}& \text{GiGPO}& 84.4& 83.8& 70.3& 42.6\\ & \text{UCOB}& 92.2& 86.1& 77.3& 43.5\\ & \text{MDSKILL}& 95.3& 85.6& 80.5& 43.4\\ \text{Qwen2.5-7B}& \text{GiGPO}& 90.8& 84.4& 72.8& 47.2\\ & \text{UCOB}& 93.8& 91.3& 80.5& 48.0\\ & \text{MDSKILL}& 96.1& 88.4& 84.4& 48.4\end{array}$$

Table 1：三个 Backbone 上的核心主结果。 MDSKILL 在 ALFWorld 和 WebShop Success Rate 上均为各 Backbone 最优，但 WebShop Task Score 不总是最高；Search-QA 只保持竞争力，并未一致领先。

1. ALFWorld

相对最强基线 UCOB，MDSKILL 在 1.7B、3B、7B 上分别提高 7.1、3.1 和 2.3 个成功率百分点。

小模型收益最大：Qwen3-1.7B 从 86.7% 提高到 93.8%。这支持作者的解释——小模型缺少现成任务先验，多视角经验内化能弥补能力缺口。

2. WebShop

Success Rate 分别提升 8.1、3.2 和 3.9 个百分点。但 Task Score 并不总是同步提高：1.7B 的 MDSKILL Score 为 88.7，低于 UCOB 的 90.3；7B 为 88.4，也低于 UCOB 的 91.3。

这说明 MDSKILL 更稳定地提高了“是否完成购买”，但不一定改善 WebShop 的细粒度商品匹配质量。只说全面 SOTA 会掩盖这个差异。

3. Search-QA

MDSKILL 在 1.7B 上为 42.1，略高于 UCOB 的 41.9，却低于 Skill1 的 42.3；3B 为 43.4，低于 StepOPSD 的 44.5；7B 为 48.4，低于 RLSD/SDAR 的 49.0。

因此，论文的强证据主要来自 ALFWorld 和 WebShop 这类重复环境状态、行动策略可复用的交互任务。Search-QA 更依赖检索覆盖、证据理解和答案综合，功能 Skill View 的优势较弱。

十三、消融与训练动态

论文 Figure 6 将主消融、分布稳定性、技能代际演化和知识粒度变化放在一起。为了保证图片清晰，下面分开展示。

Figure 6(a)：主消融训练曲线。 比较完整方法、去掉 Forward Distillation、去掉 Cross-View Distillation、去掉 Multi-View Rollout 和完全去掉 Distillation 的成功率及 Skill-View Advantage。

Figure 6(b)：蒸馏分布稳定性。 多视角 Rollout 带来更高的 Token 重合率和更小、更稳定的熵差；Cross-View Distillation 的分布对齐最好。

Figure 6©：动态技能代际演化。 高 Advantage 区域集中在对角线附近，说明新技能主要填补当前策略知识缺口，而旧技能在被内化后边际价值逐步降低。

Figure 6(d)：Skill Knowledge Composition。 MDSKILL 逐渐从实例特定经验转向跨任务技能和 Meta-Strategy，最终 Instance-Specific 占比为 26%，而 UCOB 为 42%。

1. 蒸馏是主要增益来源

完全去掉 Distillation 的退化最大，说明仅靠多视角 Skill Prompt 引导探索还不足以形成持久能力，外部经验必须进入参数。

2. Multi-View Rollout 是蒸馏稳定的前提

在仍保留蒸馏的变体中，去掉 Multi-View Rollout 影响最大。没有功能分解时，Forward Token Overlap 不再提高，熵差大幅波动，说明纠缠技能仍然构成不可靠教师。

3. MDSKILL 让 Forward Distillation 重新变得有用

预实验中 Reverse-Only 优于 Forward，但在 MDSKILL 中去掉 Forward Distillation 会降低表现。这说明动态筛选、功能拆分和 Knowledge-Gain Gate 改善了 Skill-View 教师质量，使正向内化从有害信号变成有效信号。

4. Cross-View 带来互补知识

去掉 Cross-View 后性能下降幅度小于去掉整个蒸馏或多视角 Rollout，但仍有稳定损失。它的作用不是替代 Skill-Free 内化，而是在不同功能分支之间共享成功决策。

十四、蒸馏权重与 Loss 形式

$$\begin{array}{ccc}\text{设置}& \text{ALFWorld}& \text{WebShop}\\ {\lambda }_{\mathrm{MD}}=0.0& 81.3& 46.9\\ {\lambda }_{\mathrm{MD}}=0.1& 88.3& 77.3\\ {\lambda }_{\mathrm{MD}}=0.2& 93.8& 82.8\\ {\lambda }_{\mathrm{MD}}=0.5& 79.7& 67.2\\ \text{Separate Losses}& 83.6& 65.6\\ \text{Joint Loss}& 93.8& 82.8\end{array}$$

Table 2：蒸馏权重与 Loss 形式消融。 中等权重 ${\lambda }_{\mathrm{MD}}=0.2$ 最优；权重提高到 0.5 后明显退化。把不同方向和响应长度统一到 Joint Loss 也显著优于分别优化。

蒸馏信号并非越强越好。$\lambda =0.5$ 使 Token 级模仿过度压制 RL，尤其当教师仍含噪声时，会把局部成功模式过度写入策略。

十五、动态检索消融

$$\begin{array}{ccc}\text{检索策略}& \text{ALFWorld}& \text{WebShop}\\ \text{仅相关性}& 73.4& 65.6\\ \text{w/o Reliability}& 83.6& 74.2\\ \text{w/o Advantage}& 91.4& 76.6\\ \text{w/o Thompson Sampling}& 88.3& 72.7\\ \text{w/o Temporal Decay}& 90.6& 76.6\\ \text{完整动态检索}& 93.8& 82.8\end{array}$$

Table 3：动态技能检索消融。 仅按语义相关性造成最大退化；Reliability、Advantage、Thompson Sampling 与时间衰减均有独立贡献。

其中 WebShop 对动态机制更敏感：去掉 Thompson Sampling 从 82.8 降到 72.7，说明技能库中的不确定新经验需要探索机制，不能过早固化为静态 Top-K。

十六、Skill Evolution 是否真的发生

论文没有只看最终成功率，而是用三种现象判断经验是否被内化。

1. Skill-View Advantage 接近零

如果 Skill-View 长期显著高于 Skill-Free，说明 Agent 仍依赖外部技能；如果长期为负，说明技能在伤害策略。MDSKILL 训练后两者差距趋近零，意味着无技能分支已经吸收大量外部知识，同时带技能也不再持续拖累。

2. 旧技能 Advantage 下降

高 Advantage 区域主要集中在生成代际与当前训练阶段接近的对角线。旧技能价值下降并不代表知识遗忘，而可能意味着其内容已经进入参数，不再能提供额外增益。

3. 技能从实例向通用策略迁移

MDSKILL 最终 Instance-Specific 技能占比降至 26%，UCOB 仍为 42%。Planning 技能占比在 ALFWorld 从 27.1% 提高到 39.4%，WebShop 从 28.4% 提高到 40.4；Grounding 和 Control 仍保持显著比例。

这组分析支持“技能库不断转向新知识缺口”的解释，但仍属于关联证据。旧技能 Advantage 下降也可能受到检索竞争、策略分布变化或指标估计误差影响，不能单独证明参数已经准确保存其全部知识。

十七、效率与计算成本

1. 同预算不等于低成本

MDSKILL 使用 8 张 A100，训练 150 Steps，每组包含 8 条轨迹。它所说的“without additional computational overhead”主要指与比较方法使用相同 Rollout Group Size 与训练预算，不是相对于普通 RL 零开销。

2. 多分支共享模型

Grounding、Planning、Control、Combined 和 Skill-Free 不是五套独立模型，而是共享参数、使用不同上下文进行 Rollout。因此模型参数量没有按分支数增长。

3. 蒸馏仍需要额外 Logit 计算

每个 Anchor 的 Forward、Reverse、Cross-View 最多各保留两个 Teacher–Student Pair，使用 Top-32 Token Distillation；Action Token 权重为 2.0。即使 Rollout 数量固定，Token 分布计算和配对仍带来训练开销。论文没有单独报告墙钟时间、GPU 小时或能耗对比。

十八、失败、退化与证据边界

1. Search-QA 没有一致领先

这是最重要的反例。三个 Backbone 上，MDSKILL 的 Search-QA Average 都只是竞争性结果，部分低于 Skill1、StepOPSD、RLSD 或 SDAR。方法更适合可重复交互状态和行动模式，不代表对纯检索问答同样有效。

2. WebShop Score 与 Success 不一致

MDSKILL 的 Success Rate 最好，但 Task Score 经常低于 UCOB。这说明它更可能完成任务，却未必找到属性匹配最优的商品。成功率不能完全代表决策质量。

3. 小模型需要 Strict Gate

1.7B 使用 Relaxed Gate 时更容易接收噪声教师。方法对 Gate 选择存在模型规模敏感性，部署到新 Backbone 时不能直接复用同一设置。

4. 技能功能分类依赖 Prompt

三种功能 Skill 由 View-Specific Reflection Prompt 生成，没有独立分类器或人工 Gold 证明每条技能真的只包含一种功能。Planning、Grounding 和 Control 在复杂任务中仍可能交叉。

5. 成功不证明技能造成成功

Knowledge-Gain Gate 使用同 Anchor 下的成功次数降低归因偏差，但轨迹成功仍可能来自采样随机性、已有策略能力或其他上下文。论文的理论分析也明确承认：成功 View-Specific Trajectory 并不能证明 Skill 是因果贡献来源。

十九、与 Agent Memory 系列横向比较

$$\begin{array}{cccc}\text{方法}& \text{记忆形态}& \text{主要目标}& \text{与 MDSKILL 的区别}\\ \text{A-MEM}& \text{动态关联笔记}& \text{组织与检索}& \text{外部记忆，不训练内化}\\ \text{MAGMA}& \text{多图多粒度记忆}& \text{结构化检索与推理}& \text{关注记忆组织，不处理策略蒸馏}\\ \text{CoM}& \text{紧凑可执行经验}& \text{将历史压成行动知识}& \text{经验仍主要在上下文中使用}\\ \text{ReMemR1}& \text{可回看的历史记忆}& \text{修复写入信息损失}& \text{不把历史蒸馏进参数}\\ {\text{Mem}}^2\text{Evolve}& \text{动态演化记忆}& \text{记忆系统自更新}& \text{MDSKILL 同时推动策略参数演化}\\ \text{UCOB}& \text{Skill Memory+双向蒸馏}& \text{技能内化}& \text{MDSKILL 增加功能拆分和动态多向传递}\\ \text{MDSKILL}& \text{三类功能 Skill Bank}& \text{多视角经验内化}& \text{让外部技能与共享策略共同演化}\end{array}$$

横向比较（本文整理）：MDSKILL 与代表性 Agent Memory 方法。 MDSKILL 的重点不是让外部记忆更容易被检索，而是降低技能蒸馏噪声，使经验逐步转化为无需检索也能使用的参数能力。

二十、对 Coding Agent、Tool Agent 与 Multi-Agent 的启发

1. Coding Agent：经验应按决策功能拆分

一次修复失败可以总结成不同技能：

• Grounding：先识别报错发生在哪个服务、环境和版本；
• Planning：按依赖关系决定修改文件与测试顺序；
• Control：命令连续失败时停止重试，重新检查假设。

把三类内容混成一个长 Prompt，既难检索也难评估是哪部分有效。功能化技能库更适合在不同代码任务中复用。

2. Tool Agent：外部 SOP 不应永远拥有教师权威

工具说明、历史脚本和旧操作流程可能已经过时。如果 Agent 在没有 SOP 时成功、加载 SOP 后失败，应让成功轨迹反向纠正技能，而不是始终要求模型服从外部文本。

3. Multi-Agent：不同 Agent 可以对应不同功能视角

一个 Agent 负责状态核验，一个负责计划，一个负责执行监控。最终不只是投票合并答案，而是依据任务结果，让成功角色向失败角色传递局部知识。这与 MDSKILL 的 Cross-View Distillation 思想一致。

4. 记忆价值应相对于当前策略定义

同一条经验对新模型可能很重要，对已经掌握该能力的模型则只是冗余。记忆 Importance 不应是写入时固定分数，而应持续比较“使用它”和“不使用它”的表现差异。

5. 评测内化必须包含 Memory-Free 分支

如果只测带 Memory Prompt 的性能，就无法区分“策略学会了”还是“系统仍靠检索”。工程上应同时报告：有记忆表现、无记忆表现，以及二者差距随训练的变化。

二十一、局限性与批判性分析

1. 只在三类文本环境中验证

ALFWorld、WebShop 和 Search-QA 都是文本交互环境。结论尚未覆盖代码执行、真实浏览器、具身视觉、多 Agent 协作或高风险工具调用。

2. 没有多次随机种子与显著性报告

主表给出单个结果，没有报告标准差、置信区间或显著性检验。RL 与采样式 Agent 训练波动较大，2–3 个百分点的小幅提升需要多 Seed 支持。

3. 部分 Baseline 数字来自不同来源

Table 1 中 $†$ 来自原论文，$\ast$ 来自 SDAR/UCOB 报告，其他结果由本文实现。虽然作者声明遵循对应设置，但不同实现、训练时间和环境版本仍可能影响可比性。

4. “无额外计算”缺少系统成本数据

论文没有报告各方法的 GPU Hours、训练吞吐、生成 Token 总量和蒸馏 Logit 存储开销。相同 Rollout Budget 只能说明交互采样数量相同，不能证明完整计算成本完全相同。

5. Skill View 仍是人工先验

Grounding、Planning、Control 是合理但人为指定的三分法。其他任务可能需要 Tool Selection、Safety Checking、Communication 或 Resource Management 等新视角。论文没有验证三视角是否最优或足够完备。

6. 动态价值指标仍较粗糙

Reliability 只使用二元成功，Advantage 依赖同任务 Skill-Free 平均成功率，无法区分“部分完成”“更短路径”“更低成本”或“更安全但失败”等细粒度价值。

7. 内化证据仍然间接

Skill-Free 提升、旧 Skill Advantage 下降和通用技能占比增加都支持内化，但没有进行参数知识探针、遗忘测试或在移除整个 Skill Bank 后的长期保持实验。

8. 自生成错误可能形成反馈回路

虽然 Gate 与 Reverse Distillation 能过滤部分噪声，但策略、技能生成器和蒸馏教师本质上来自同一模型。系统可能不断强化一种看似成功但脆弱的策略，尤其在奖励函数不能覆盖真实质量时。

二十二、我的理解与启发

1. Skill Memory 的终点不是更大的 Skill Bank

如果每次成功都生成一条技能，技能库会不断膨胀、重复和冲突。MDSKILL 给出另一种方向：记忆应该像训练数据一样被消费。知识内化后，旧技能的边际价值下降，系统将注意力转移到新的能力缺口。

2. Memory 与 Parameter 不应被看成二选一

外部记忆适合快速写入、可解释更新和新知识注入；参数记忆适合低延迟、无需检索和跨任务泛化。MDSKILL 的闭环说明二者可以分工：外部 Skill Bank 负责探索和教师构造，策略参数负责稳定吸收成熟经验。

3. “谁是教师”应该由能力差决定

传统知识蒸馏通常假设 Teacher 固定更强。但自进化系统中的所有分支共享同一模型，只是上下文不同。Skill Prompt 有时提升、有时伤害，因此教师权威必须是局部、动态、结果驱动的。

4. 功能解耦比语义聚类更接近决策结构

按主题聚类可能把“土豆在哪里”“如何加热土豆”“如何发现加热失败”放在同一组；按决策功能拆分则分别服务感知、规划与控制。这种结构更适合训练，因为它对应行动链中的不同错误来源。

5. 下一步应引入因果价值与安全约束

当前 Advantage 只比较成功率，无法判断 Skill 是否真正导致成功。更进一步可以使用反事实 Rollout、干预式评测或 Doubly Robust Estimation 估计技能因果贡献。同时，高风险 Agent 还应增加 Safety View，防止高奖励但不安全的技能被强化。

二十三、总结

MDSKILL 关注长期 Agent Memory 中一个容易被忽略的环节：Skill Memory 不应该永远停留在 Prompt 中，真正的自进化要求模型在不检索技能时也能复现经验。

直接 On-Policy Self-Distillation 会受到技能噪声、功能纠缠、冗余和冲突影响，甚至让 Skill-View 成为错误教师。MDSKILL 将技能拆为 State Grounding、Action Planning 与 Execution Control 三个功能库，用 Reliability、Advantage、时间衰减和 Thompson Sampling 动态选择当前仍有价值的技能，再根据同 Anchor State 下的实际成败，建立 Forward、Reverse 和 Cross-View 蒸馏对。

实验中，MDSKILL 在三个模型规模的 ALFWorld 与 WebShop Success Rate 上均达到最佳结果，小模型收益尤其明显。蒸馏权重、动态检索、多视角 Rollout 和跨视角传递消融均支持其设计。但 Search-QA 没有一致领先，WebShop Task Score 也并非最优；同时缺少多 Seed、显著性和完整系统成本报告。

一句话总结：MDSKILL 不是把更多技能塞给 Agent，而是让 Agent 判断哪些技能真的带来知识增益、这些知识属于哪个决策环节，以及此刻究竟应该由 Skill 教 Policy，还是由 Policy 反过来纠正 Skill。

参考资料

1. MDSKILL: Learning to Internalize Skill Memory through Multi-View Distillation for Efficient Dynamic Agent Self-Evolution
2. MDSKILL Code
3. ALFWorld
4. WebShop
5. Reflexion: Language Agents with Verbal Reinforcement Learning