note

• Sage-A1.5 走的是第三条路——训练模型学会如何组织自己的工作：知道何时该分派子任务、如何并行协作、何时该停下自查、证据不足时如何换路。概括其转向：从 capability coverage（能覆盖多少领域/任务） → 到 capability composition（能力在执行中如何被组织、协调、自适应组合）。
• 研究动机： 现有 Agent 虽具备工具调用与长轨迹执行能力，但面对复杂任务，仍容易出现上下文干扰、无效探索、错误累积等问题。Sage-A1.5 在 Agents-A1 基础上，重点从“执行任务”升级为“自主组织、验证和调整任务”。
• 核心技术：
  • Agentic Orchestration（智能体编排）：主 Agent 动态拆解任务，将子任务分配给多个独立上下文的 Subagent 并行执行，再汇总证据、处理冲突，实现复杂任务的协作求解。解决长任务的上下文污染和串行瓶颈。
  • Agentic Verification（自主验证）：在执行轨迹中主动检查进度、验证证据、反思失败路径（progress checking、evidence validation、reflective strategy revision），并动态调整后续策略；验证能力嵌入模型自身推理过程，不依赖额外的外部 Critic。
  • Scientific Exploration（科学探索）：结合文献检索、工具执行、数据分析与结果验证，支持从科学问题提出到实验分析、代码和研究报告产出的长流程探索。
• 训练方法：
  • 采用多领域教师模型训练与统一后训练框架，结合 SFT 和混合奖励 RL。针对机器学习工程任务，引入 Windowed Interaction RL（WIRL），将长轨迹按实验反馈切分为多个窗口，以阶段性结果奖励优化策略，缓解仅依赖最终奖励的稀疏反馈问题。
  • post-training阶段：
    • outcome-based RL：有明确最终答案/环境分数的任务，用 RL；
    • multi-teacher on-policy distillation（OPD）：复杂长轨迹中间过程难打 reward 的部分，用不同领域 teacher 给 token-level dense supervision；
      有些样本两种信号一起用。
• 实验结果： 相比 Agents-A1，BrowseComp 从 75.5% 提升至 81.7%，启用多 Agent 编排后达到 82.8%；PinchBench 从 76.9% 提升至 90.0%，IFBench 从 80.6% 提升至 81.6%。
• verify：推理时设置verification=True 不是运行时启动一个 verifier 模块，而是让 chat template 给输入 prompt 加一个训练过的条件标签；模型看到这个标签后，会进入训练时学到的 verification reasoning 分布
• 构造query训练数据（具体参考figure4b）：先选一个答案实体 a，再从知识图/关系图里沿不同方向扩出多条 relation chain，把这些链转成若干 clue，最后合成一道需要综合多个线索才能回答的问题。

一、总结

论文：Sage-A1.5: From Long-Horizon Execution to Scientific Exploration with Capability Composition
机构：上海人工智能实验室 ｜ 时间：2026-10-20（arXiv:2610.28578v1）
模型：35B 总参数 / 3B 激活参数 MoE 智能体模型，基于 Agents-A1 构建

过去大家提升智能体靠"堆模型参数"或"堆工具"，Sage-A1.5 走的是第三条路——训练模型学会如何组织自己的工作：知道何时该分派子任务、如何并行协作、何时该停下自查、证据不足时如何换路。一句话概括其转向：

从 capability coverage（能覆盖多少领域/任务） → 到 capability composition（能力在执行中如何被组织、协调、自适应组合）。

前者是"我会做 A、B、C"，后者是"我知道什么时候该派谁做 A/B/C，并拼出完整答案"。

---

二、研究动机

2.1 前作已经证明"小模型也能做长程智能体"

作者的上一作 Agents-A1（2026）给出一个反直觉结论：智能体能力不一定要靠堆参数。A1 是一个 35B MoE 模型，通过"知识—行动"基础设施把外部知识、工具调用、观测与验证反馈串联起来，训练轨迹平均长达 45K token，在多步搜索、科学推理、指令遵循、工具使用上能匹配甚至超过万亿参数模型。

2.2 但"单智能体长程执行"撞上三堵墙

软件工程、机器学习优化、科学研究这类复杂任务，需要的不仅是领域技能，更是组织工作与修正判断的能力。单智能体逐步执行会撞上：

瓶颈	具体表现
上下文膨胀	任务越长上下文越臃肿，推理与探索都变慢
错误累积	早期一个错误假设会被后续推理不断放大
无效搜索	重复无效搜索、把未验证假设当前提、证据不足就"交卷"

2.3 关键洞察

任务的分派、并行协作、证据审查、策略修订，过去都靠外部框架里的固定规则实现；Sage-A1.5 要把它们变成模型自己学会的能力——这是全篇的方法论核心。

---

三、核心方法：两大关键能力 + 训练体系

3.1 Agentic Orchestration（智能体编排）

解决"如何分工协作"。主智能体可以把子任务分派给上下文隔离的并行子智能体，各自独立调用模型与工具，一批完成后由主智能体汇总整合。

两种互补的并行模式（理解的重点，见论文 Fig.3）：

• Exploratory Composition（探索式） —— 类比 A ∨ B ∨ C：多个子智能体对同一问题探索不同假设/方案，主智能体比较后收窄方向。例：对同一需求探索不同系统架构。
• Constructive Composition（建构式） —— 类比 A ∧ B ∧ C：把整体拆成互补子问题并行做，主智能体负责整合与一致性检查。例：分别开发数据、接口、部署模块，最后拼成完整系统。

结构化反馈机制（关键设计，见 Fig.4 / Fig.5）：子智能体返回的不只是答案，而是包含 status（ok / unknown / insufficient_evidence / conflict / ambiguous）、支持证据（url + 引用片段）、以及 unresolved_issues 的自评估报告。这份反馈既帮主智能体找缺口和冲突，也成为轨迹筛选的信号。

数据怎么造 —— Constraint-Guided Long-Horizon Search（见 Fig.4b）：从选定答案实体出发，向四周扩展成"星形树状关系链"，把各分支描述与证据拼成一道题、遮蔽专有名词，迫使主智能体必须并行调查多个约束才能还原答案。

3.2 Agentic Verification（智能体验证）

解决"如何自己纠偏"。当探索停滞或到达重要中间结论时，模型会自发回顾：哪些事实已被确认、哪些早期判断是无依据推断、哪些缺口未补、哪些路径已被证伪，再据此调整下一步。

关键设计：验证是模型内生的推理行为，不依赖外部 harness 的固定规则、不需要在线监督模型、也不需要单独的验证工具。训练时用一个 conditioning marker——Verification protocol: enabled 写入系统提示即可按需开启。

一个很有价值的后续构想：把"验证点"当作上下文压缩的天然边界——两次验证之间的历史压缩成一段精简的阶段记录，只保留关键证据、被否假设、未解问题，从而控制长上下文开销。

3.3 统一训练管线（三阶段）

多领域 SFT（Stage I）→ 统一 outcome–process 后训练（Stage II）

• Stage I 多领域监督微调：在 Claude Code、Codex、内部 harness 等兼容框架下收集演示，分为 task-oriented（建立解题能力）与 protocol-focused（建立工具调用、子智能体分派、消息路由等交互能力）两类样本。
• Stage II 统一 outcome–process 后训练：同一循环里混合三种监督——
  • outcome-only：有经济性验证的领域做结果 RL；
  • process-only：多教师 on-policy 蒸馏，用反向 KL 做 token 级教师反馈；
  • mixed：两者兼有。

总结：能算分的用 RL 提结果，算不出分的用强教师"手把手教过程"。

3.4 各领域的专门训练（见 Table 1）

领域	做法要点
MLE 工程	Kaggle-MLE Factory 把历史 Kaggle 比赛自动转成可执行任务；实验树记录方案迭代与回溯；WIRL 窗口化交互强化学习按实验窗口给奖励；异步策略优化
SWE 软件工程	SWE-rebench-V2 + 自建任务，转成统一 repair 格式；ref + no-op 双检查；严格防泄漏（剥离 Git 对象、阻断外网、重放补回因 transient 失败的正确 patch）
科学研究	三阶段：能力引导的问题筛选 → harness 优化（search/visit/code/scholar 四工具 + 沙箱 + 工具结果重放）→ 轨迹蒸馏 + 扩展多轮 SFT
长上下文	递归任务演化：从 16K–128K 文档构造，用原子能力组合增强难度，参考模型反馈找捷径、驱动迭代
搜索 / 真实工作流	开放式研究问题 + 准则过滤；ALE 环境通过"构建者 / 独立审查者 / 评判者"三角色演化出千余真实工作流环境

3.5 训练基础设施：pVisor

为支持"大量执行上下文时断时续"的需求，自研 agent-native 沙箱框架，支持按需加载环境、内存卸载与恢复。初步测试显示，内存卸载后 VM 及辅助进程常驻内存约降低 80%。

四、实验结果

4.1 对比基准设置

• 同规模（35B）：Agents-A1、Ornith-1.5
• 更大规模：Kimi-K3、GLM-5.3、GPT-5.6-sol

评测横跨 4 类共 20 余项基准：长程搜索（GAIA/BrowseComp/DR-Bench2/XBench-DS）、工程（MLE-Bench-Lite/SciCode/SWE-Bench Pro & Multilingual）、科学研究（FS-O/FS-R/HiPhO/HLE w/tools/CMT/CritPt）、通用（IFBench/AA-LCR/ALE-CLI/VitaBench/PinchBench）、科学智能体（ChemCoTBench/MatTools/OmniDocBench）。

4.2 主要结果（见 Table 1，取代表性指标）

基准	Sage-A1.5	说明
BrowseComp	81.7	35B 中最佳（Kimi-K3 91.2、GPT-5.6-sol 90.4，均为大模型）
MLE-Bench-Lite	65.2	35B 最佳，逼近大模型
SWE-Bench Pro	61.2	35B 最佳，与 GLM-5.3(64.6)、GPT(64.6) 接近
FS-O	81.0	超越所有大模型（Kimi 69 / GLM 67 / GPT 73）
CMT	80.0	大幅超越所有大模型（GPT 50 / Kimi 34）
CritPt	20.0	超越所有大模型（GPT 32.3 更高，但为 35B 中最佳）
IFBench	81.6	35B 最佳，超越所有大模型
PinchBench	90.0	所有模型中第一，超越 Kimi/GLM/GPT
ALE-CLI	19.1	35B 第一，但落后于大模型（约 28）

总括：在 12 个基准上全面匹配或超越同规模模型 Agents-A1 与 Ornith-1.5；在 FrontierScience-Olympiad、CMT、PinchBench、IFBench 上虽仅 35B 却超越参数量大得多的 Kimi-K3、GLM-5.3、GPT-5.6-sol；在 SWE-Bench Pro、BrowseComp 上接近它们；仅在 ALE-CLI 等"真实长程工作流"上仍有明显差距。

⚠️ 注意：很多数字来自各模型技术报告的自报结果，运行环境、token 预算、工具配置未必完全对齐，论文也明确承认了这一点。

4.3 两大能力的消融验证（最能体现方法贡献的部分）

① Agentic Orchestration（见 Table 4）

配置	BrowseComp	DR-Bench II
Qwen3.5-35B-A3B 基线	61.0	42.3
Sage-A1.5 无编排	81.7	43.7
Sage-A1.5 + 编排	82.8	47.5

编排在报告生成类任务（DR-Bench II）带来 +3.8 分的大幅提升，与"协调互补调查、整合成报告"的定位吻合。

② Agentic Verification（见 Table 5）：开启 Verify 模式后 BrowseComp 从 81.0 → 85.5（+4.5）。更有说服力的是——配对比较中平均输出 token 从 23,245 → 21,962（减少 5.5%）、轮数从 84.81 → 82.14。验证不仅提高正确率，还减少了无效探索：少花 token 多办事。

③ 领域教师有效性（见 Table 2 / Table 3）

• 科学教师：FS-O 64.5→89.0、FS-R 2.5→70.0、CMT 20→84.0、CritPt 0.9→25.7（研究级任务提升最夸张）
• 搜索教师：GAIA 59.8→96.1、BrowseComp 61→85.5、XBench 77→89

④ MLE 教师（见 Table 6）：奖牌率 37.88% → 72.73%，金牌率翻倍到 50%。

---

五、案例分析：从"执行"走向"科学发现"

5.1 编排能力的具象化（见 Fig.11）

50 频道 YouTube 研究图谱：主智能体分 6 批并行调度子智能体调查 50 个频道，其中 StarPlus 子智能体主动推翻了"Sony Pictures 运营"的初始假设、纠正为 Disney Star / JioStar，主智能体把这一修正纳入后续关系判断——这正是"证据反哺"的编排价值。

5.2 验证能力的具象化（见 Fig.8）

面对"某演员首任妻子名字"的多跳问题，基线在 48 轮后凭电视角色硬凑出错误答案；Sage-A1.5 在第 20 轮主动暂停反思，识别无依据假设，转向检索电影字幕与婚姻时间线，30 轮内给出正确答案。

5.3 可复现的科学推导（见 Fig.9）

量子光学自纠错（CritPt #19）：解析推导与数值计算出现高达 24.16 的偏差 → 重查推导与验证代码 → 发现相关交叉项的复共轭错误 → 修复后 10 次测试最大残差降至 3.55×10⁻¹⁵，而 Claude Opus 4.8 在同一任务保留了错误表达式。

5.4 端到端科学研究（第 4.3–4.4 节，对应 Fig.13–Fig.18）

• Navier–Stokes 深度研究报告：8 章、391 条引用、84 篇参考文献
• 凝聚态晶体结构精修（Fig.16）：Rwp 从 88.3091% → 86.1092%，绝对下降 2.1999 个百分点
• 电化学历史数据重演（Fig.17）：最佳产率 32%→89%，定位到 EXP-038 高条件；"反馈修订机理假设"是亮点
• 计算化学（Fig.15）：12 小时完成 NMA–吡啶衍生物结合能研究，作者估算人类从零实现约需一周
• 计算生物荧光点检测（Fig.18）：aggregate_improvement 从 −0.047 → 0.116

5.5 本地私有化部署（见 Fig.12）

35B-A3B 支持 FP8 / 4-bit 量化，可跑在昇腾 NPU、NVIDIA/AMD GPU、Apple Silicon 上，配合 llama.cpp / MLX / LM Studio 实现全本地、数据不出设备的智能体工作流——这是开放科学发现的重要基础。

---

六、局限与未来方向

作者自陈四点：

1. 范围有限：编排与验证训练目前集中在搜索与研究综合，尚未充分扩展到更广泛的工程工作流
2. 长上下文仍是痛点：超长轨迹的上下文开销依然沉重
3. 多教师合并有损失：联合后训练后，统一模型未能完全保留每个领域教师的峰值性能（多任务负迁移）
4. 科学案例有边界：展示案例仍运行在计算仿真与历史数据回放上，尚未接入真实物理实验

三条未来方向：以验证点为边界做历史压缩、把编排扩展到更广的工程工作流并降低跨域蒸馏损失、与科学家合作接入真实实验验证。

---

七、整体评价

贡献层面

1. 概念贡献最突出：提出"capability composition"这一第二维度，把"如何组织执行"变成可训练目标而非外部规则——这是最值得记住的思想。
2. 技术贡献扎实：编排（双模式 + 结构化反馈）+ 验证（内生、按需、token 开销反降）两项能力均可训练、可量化验证。
3. 工程贡献完整：统一 outcome–process 后训练管线 + pVisor 沙箱，把多领域、多 harness、多推理模式熔进单一模型。
4. 生态贡献明确：35B 规模 + 本地可部署 + 开放倾向，为开放科学发现提供了"小而强"的基座。

需要理性看待的三点

• 科学案例（产率 89%、PC1 方差 63.2%）偏向可行性展示，而非严格意义上的科学新发现
• "35B 打过大模型"主要集中在科学推理与指令遵循类基准，在真实工作流（ALE-CLI）上差距明显，优势有领域选择性
• 这是一篇技术报告（report）而非 formal paper，缺少传统严格消融对照组设计

总结：Sage-A1.5 代表了一条有说服力的路线——让小模型通过"学会分工、学会自查"，在长程任务上逼近大模型，尤其擅长科学推理与结构化研究；但它离"真正的自主科学发现"仍有距离，更像一个强力的、可本地部署的科研协作者。

---

附：图表速查表

图表	看什么
Fig.1	全基准总览，看清"35B 打过大模型"的整体格局
Fig.3	理解 Exploratory vs Constructive 两种编排模式
Fig.4 / Fig.5	编排的执行流程与结构化反馈格式（重点）
Table 1	全部 20+ 基准成绩总表
Table 2 / 3	领域教师的增量贡献
Table 4 / 5 / 6	编排、验证、MLE 三大消融实验（重点）
Fig.8	Agentic Verification 多跳纠偏过程
Fig.9	量子光学推导的自纠错
Fig.11	50 频道研究图谱，编排的"证据反哺"
Fig.12	本地私有化部署方案
Fig.13–18	五类端到端科学案例
Fig.16 / 17 / 18	反馈驱动的迭代优化轨迹