Skill∞:智能体技能优化的RSI技术
·
论文:Skill∞: Recursive Self-Improvement for Agent Skill Optimization(arXiv:2610.35434,NUS / CityU HK)
核心问题:现有的 skill 优化器(如 SkillEvolver)用人工设计的固定流程去优化技能。即使是 MetaSkill-Evolve 这类会改写“元技能”的方法,流程的骨架(角色、连线方式)也是固定的,而且元技能只绑定到一个任务技能上。作者认为,优化器自己的流程也应该能被改进,否则改进会停滞。
方法概述
如图所示技能优化的RSI技术:

1. 把优化流程写成一个 skill(元技能 meta-skill)
优化器本身是一个 SKILL.md 加上参考文件和脚本的 skill 包。Meta Agent 读取这个 skill,按它的步骤执行优化。因为流程是 skill,所以可以被同一套流程改写。
2. 双环结构(∞)
- 内环:Meta Agent 用元技能优化任务技能 s₀ → s*。
- 外环:同一套流程用来优化元技能本身 m₀ → m*,优化任务是“给定种子技能,在若干任务上把它优化好”。
- 元技能的分数定义为它所引导的任务技能提升的平均值(式 2、3)。
3. 每轮迭代的六个步骤(都写在元技能里)
Inspect(查看归档)→ Diagnose(分析父节点的 rollout)→ Propose(生成 1–2 个候选,附带观察、改动、预测和证伪条件)→ Evaluate(评测)→ Review(独立 Reviewer 子代理审查,拒绝无实质改动、从未激活或不可用的候选)→ Decide(继续、回溯或停止,并选择下一个父节点)。
4. 关键设计点
- 归档(Archive):记录完整的优化树,允许回溯到早期节点,也允许保留“平手但解决了目标失败”的候选。
- 搜索即推理:分数只说明“是否提升”,Meta Agent 要结合诊断和评审去理解“为什么”,而不是机械地按分数搜索。
- 自适应预算:Meta Agent 自己决定每轮生成几个候选、何时停止。
- 解耦:元技能在一组跨领域的优化任务上训练,之后用于优化各种任务技能,摊销了成本。
- 原生 skill 发现:不向 agent 注入技能,也不要求它加载技能,只让它看到 name/description,和真实部署一致。因此 description 也属于优化范围。
如图所示Skill∞的概览:

如下所示Skill∞的算法总结:

实验结果
| 设置 | 结果 |
|---|---|
| SkillsBench 83 题(Codex CLI + GPT-6 Luna,avg@5) | Skill∞ 60.7%,human-curated 56.4%,SkillEvolver 54.5%,无技能 45.5% |
| 消融:去掉元技能自我改进 | 55.9%(仍略高于 SkillEvolver 的 54.5%) |
| KernelBench 平均加速比 | Skill∞ 1.62,SkillEvolver 1.18,无技能 1.02 |
| 换模型(GPT-5.6 Luna)/ 换 harness(OpenCode) | Skill∞ 66.5% / 56.9%,human-curated 61.2% / 53.3% |
| 成本 | 一次任务技能优化约 8.7M 输入 / 66k 输出 token;元技能自我改进总计约相当于 11 次任务技能优化,摊到 83 个任务上每个增加不到 15% |
贡献和不足分析
有说服力的部分
- 把“优化流程”也变成可改写的 skill,设计上很干净。消融显示:流程本身带来约 10 个点(45.5→55.9),自我改进再带来约 4.8 个点(55.9→60.7)。
- 分域的增益和论文描述一致(数学 +24.0、媒体 +22.2、SWE +11.4),我核对表 1 数字是对得上的。
- 归档 + 独立 Reviewer + 证伪条件,这些机制能减少“噪声当进展”的问题,这是实用的工程经验。
- 失败案例(附录 C)说明自我改进确实改变了元技能的行为,例如把“平手即接受”改成“必须有进展才接受”,而不只是改了措辞。
需要保留的疑问
- 基线与结论的强度:只用一个骨干模型(GPT-6 Luna)和一个 harness 作为主实验,换模型后只在 SkillsBench 上比较,没有对 KernelBench 做同样的扩展。另外,Skill∞ w/o 自我改进(55.9)比 SkillEvolver(54.5)只高 1.4 点,在 83 题、5 次试验下很可能落在噪声范围内。
- 选择性报告:表 1 中 human-curated 在 Cyber(68.6 vs 51.4)、Science(67.1 vs 57.1)、Finance(37.8 vs 26.7)上明显优于 Skill∞。表 2 中 C1 类(human-curated 能解、通过率 ≥40%)上,Skill∞ 只有 29.2,human-curated 是 58.5。正文强调的是“对 SkillEvolver 有优势”,这一点应当谨慎看待。
- 奖励可靠性:作者自己承认,两层优化都依赖自动化验证器,所以方法只适用于奖励可可靠计算的领域。外环的奖励是任务技能在验证集上的增益,如果验证器有漏洞,元技能可能学会“钻空子”。论文只说明了 reward tampering 的风险,没有系统测试。
- 可复现性:代码仍是“will be released”,关键结论依赖 Codex CLI、GPT-6 Luna 等闭源或预览模型,外部复现成本高。
- 元技能的遵循性:流程靠 LLM 遵循长指令,没有代码强制执行。论文也承认这一点(Limitations)。
- 成本口径:成本只统计 token,没有统计 wall-clock 时间和评测用的 rollout 费用。
更多推荐


所有评论(0)