note

• IG-OPD = 普通 OPD 的 Teacher supervision + “真实搜索结果到底有没有用”的后验校准。让 Student 不只是模仿“Teacher 怎么搜”，而是学习“什么搜索真正有用”。
• 背景 ：多模态 Deep Search Agent 通常依赖大模型做 Agentic RL，但训练和部署成本高，因此希望通过 On-Policy Distillation（OPD）把 8B Teacher 的搜索能力迁移到 2B/4B Student。问题在于，标准 OPD 只根据搜索前上下文判断 Student 的 Search Query 是否符合 Teacher 偏好，却不看 Query 实际搜回来的 Evidence，容易产生 Evidence-Blind Supervision（EBS）：有用 Query 被惩罚、误导 Query 反而被奖励。
• 核心方法：作者引入搜索后的 Information Gain（IG），衡量新 Evidence 是否提升 Teacher 对 Gold Answer 的置信度，并用它校准 OPD 的两类偏差。
  • ITC：根据 |IG| 重新分配不同 Search Turn 的监督预算，解决“长 Response 占梯度、关键 Search 被低估”的 Budget Prior；
  • IQC：根据带符号 IG 修正 Search Query 的更新方向，解决 Teacher Preference 与真实搜索收益不一致的 Direction Prior；同时采用 cosine ramp，训练前期先模仿 Teacher，后期逐渐增强 Evidence 校准。
• 实验结果：在 6 个多模态搜索 Benchmark 上，相比标准 OPD，2B / 4B Student 平均准确率分别提升 +3.4 / +1.7pp；4B 在 MMSearch、BrowseComp-VL 上超过 8B Teacher。Gold Evidence 命中率由 34.1%→39.1%，但搜索次数基本不变，说明模型是“搜得更准”而不是“搜得更多”。

一、背景：为什么普通 OPD 不适合 Deep Search Agent

IG-OPD：让搜索 Agent 的蒸馏真正看见“搜索结果”
论文：Information-Gain Calibrated On-Policy Distillation for Deep Search Agents

多模态搜索 Agent 的执行过程通常是：

Image / Query
→ Think
→ Search / Crop / OCR / Web
→ Observation
→ 继续搜索与推理
→ Final Answer

相比普通问答，这类 Agent 的关键在于：某一步 Search Query 好不好，不能只看搜索前“像不像一个好 query”，而要看它最终有没有搜回真正有用的证据。

为了把大模型 Agent 的能力压到小模型，论文采用 On-Policy Distillation（OPD）：Student 自己 rollout，Teacher 在 Student 真实访问到的状态上提供 dense supervision。这样比离线蒸馏更贴近 Student 的实际分布。

但作者发现，标准 OPD 存在一个核心问题：

Teacher 在搜索结果返回之前，就已经决定了这个 Search Query 应该被奖励还是惩罚。

论文称之为 Evidence-Blind Supervision（EBS，证据盲监督）。

一个典型例子是：Student 用日文搜索“十和田市现代美术馆免费入场要求”，Teacher 更偏好另一种英文 query，因此 OPD 给 Student 负反馈；但这条日文 query 实际搜到了正确证据“18 岁及以下免费”。也就是说，搜索明明有效，却因为“不像 Teacher 的写法”而被惩罚。

---

二、核心动作：用搜索后的 Information Gain 校准蒸馏

IG-OPD 的核心思想很简单：

保留 Teacher 的 dense supervision，但在搜索结果回来后，再根据真实 evidence 对监督做后验校准。

作者发现标准 OPD 有两个具体偏差，因此分别设计了 ITC 和 IQC。

1. ITC：重新决定“哪一轮应该学得更多”

标准 OPD 按 token 数平均计算 loss，因此 token 越长的 turn，占的监督预算越多。

这在 Deep Search 里并不合理。比如真正找到关键证据的 Search Query 可能只有几十个 token，而最后的总结 Response 很长，反而吃掉大量梯度。

论文统计发现：

• 第一次 Search 贡献了 51.1% 的绝对 Information Gain
• 却只获得 18.0% 的监督预算
• 最终 Response 占了 47.6% 的监督预算

说明标准 OPD 实际是在：

按 token 长度分 credit，而不是按信息价值分 credit。

为此作者提出 ITC（Information-Guided Turn-Credit Calibration）。

它先计算每一轮搜索带来的 Information Gain：

$$g_t={\Phi }_t-{\Phi }_{t-1}$$

直观理解就是：

看到这一轮新证据后，Teacher 对 Gold Answer 的置信度变化了多少。

然后根据 $|g_t|$ 调整 turn 的监督权重：

• $|IG|$ 大：这一轮很关键，多给监督
• $|IG|$ 小：这一轮影响小，少给监督

这里使用绝对值，是因为无论某轮 evidence 是“帮助很大”还是“误导很大”，只要它对轨迹影响明显，就值得重点学习。

一句话：

ITC 决定“这一轮应该学多少”。

---

2. IQC：重新决定“这个 Query 应该往哪个方向学”

第二个问题是 Teacher Preference 不一定等于真实 Search Utility。

论文统计发现，大约 43.7% 的搜索 Query 出现了 Teacher 评分和真实 IG 符号相反：

• 19.8%：搜到了有价值证据，却被 OPD 惩罚
• 23.9%：搜到了误导证据，却被 OPD 奖励

说明：

Teacher 喜不喜欢这个 query，和这个 query 实际有没有用，并不是一回事。

因此作者提出 IQC（Information-Guided Query-Preference Calibration）。

做法是：

Student 生成 Search Query
        ↓
真实执行搜索
        ↓
得到 Evidence
        ↓
计算 IG
        ↓
用 IG 修正原本的 Teacher supervision

如果：

Teacher 不喜欢
但 IG > 0

说明这个 query 实际有效，就应该减少惩罚甚至强化。

反过来：

Teacher 很喜欢
但 IG < 0

说明搜索结果反而有害，就应该削弱这个更新方向。

而且 IQC 只作用在真正和 action 有关的 token，例如 tool name、argument、query string，不作用在 <tool_call> 这类格式 token 上。

一句话：

IQC 决定“这个 Query 应该往哪个方向学”。

---

3. Cosine Ramp：先模仿 Teacher，再相信真实 Evidence

还有一个很实用的细节。

训练初期 Student 很弱，大量 Search 都可能产生负 IG。如果一开始就强力使用 IG，模型容易学成：

“既然 Search 经常带来负收益，那干脆少 Search。”

因此作者让 IQC 的权重随训练逐渐增大：

训练前期：
Teacher supervision 为主

↓

训练后期：
逐渐增加 evidence calibration

这相当于一个 curriculum：

先学会 Teacher 怎么搜索，再逐渐学会判断什么搜索真正有用。

---

三、实验效果：小模型接近甚至反超 Teacher

实验覆盖 6 个多模态搜索 benchmark，Teacher 为 OpenSearch-VL-8B，Student 为 Qwen3-VL-2B / 4B。Student 先用 10K 轨迹做 SFT 冷启动，再进行 OPD / IG-OPD。

结果：

• 2B Student

  • OPD：46.0
  • IG-OPD：49.4
  • +3.4

• 4B Student

  • OPD：53.3
  • IG-OPD：55.0
  • +1.7

更有意思的是，4B Student 在：

• MMSearch：66.7，超过 8B Teacher 的 64.3
• BrowseComp-VL：45.7，超过 Teacher 的 44.7

说明 Student 不再只是机械复制 Teacher，而是通过真实搜索结果对 Teacher preference 做了修正，因此有机会突破 Teacher ceiling。

同时，IG-OPD 让任意搜索命中 Gold Evidence 的比例从 34.1% 提升到 39.1%，但平均搜索次数基本不变，说明提升来自“搜得更准”，而不是“搜得更多”。

---

四、小结：这篇论文真正解决的是什么

IG-OPD 的本质不是提出了一个更复杂的蒸馏 loss，而是指出了 Search Agent 训练中的一个关键问题：

Agent 的 action 不能只根据 action 本身被监督，还应该看 action 执行之后，环境到底返回了什么。

标准 OPD：

Search Query
→ Teacher：我喜欢 / 不喜欢
→ 直接更新

IG-OPD：

Search Query
→ 真正执行 Search
→ Evidence
→ 判断它对 Gold Answer 有没有帮助
→ 再校准 Teacher supervision

因此整篇可以记成三个词：

EBS：普通 OPD 看不见搜索后的 Evidence
ITC：决定每一轮“学多少”
IQC：决定 Search Query“往哪个方向学”

一句话总结：

IG-OPD = Teacher prior + Environment posterior，让 Student 不只是学“Teacher 怎么搜”，而是学“什么搜索真正有用”。