阿里:智能体轨迹并行蒸馏迁移技能
如何让大语言模型代理自动获取可迁移的领域专用技能,避免手动编写技能的扩展瓶颈和现有自动化方法产生的脆弱碎片化结果?论文提出Trace2Skill框架,通过并行分析多样执行轨迹并层次化整合经验教训,生成可跨模型规模和任务领域迁移的高质量声明式技能。

📖标题:Trace2Skill: Distill Trajectory-Local Lessons into Transferable Agent Skills
🌐来源:arXiv, 2603.25158v3
🌟摘要
为大型语言模型(LLM)智能体配备特定于领域的技能对于处理复杂任务至关重要。然而,手动编写会造成严重的可扩展性瓶颈。相反,自动化技能生成通常会产生脆弱或碎片化的结果,因为它要么依赖于浅层参数知识,要么顺序过度拟合不可泛化的局部经验教训。为了克服这一点,我们引入了Trace 2Skill,一个反映人类专家如何创作技能的框架:通过全面分析广泛的执行经验,然后将其提炼成一个单一的,全面的指南。而不是按顺序反应个别轨迹,Trace 2Skill派遣一个并行的子代理舰队来分析不同的执行池。它提取轨迹-Trace 2Skill支持深化现有的人类书写技能,并从头开始创建新的技能。在具有挑战性的领域进行实验,如电子表格,VisionQA和数学推理,显示Trace 2Skill在强大的基线上有了显著的改进,包括Anthropic的官方xlsx技能。至关重要的是,这种基于语义的进化不仅仅是记住任务实例或模型特定的怪癖:进化的技能跨越LLM规模转移,并推广到OOD设置。例如,Qwen3.5- 35 B在其自身轨迹上进化的技能使Qwen3.5- 122 B代理在WikiTableQuestions上的绝对百分比提高了57.65个百分点。进一步的分析证实,并行整合优于在线顺序编辑和基于检索的经验银行。最终,我们的结果表明,复杂的代理经验可以打包成高度可转移的,声明性的技能-不需要参数更新,没有外部检索模块,并利用小至35 B参数的开源模型。
🛎️文章简介
🔸研究问题:如何让大语言模型代理自动获取可迁移的领域专用技能,避免手动编写技能的扩展瓶颈和现有自动化方法产生的脆弱碎片化结果?
🔸主要贡献:论文提出Trace2Skill框架,通过并行分析多样执行轨迹并层次化整合经验教训,生成可跨模型规模和任务领域迁移的高质量声明式技能。
📝重点思路
🔸轨迹生成阶段:利用冻结参数的智能体在初始技能指导下并行运行,收集包含成功与失败案例的大规模执行轨迹池。
🔸并行多智能体补丁提议:部署专门的成功分析师和错误分析师子智能体集群,独立处理单条轨迹,基于因果分析提出针对性的技能修改补丁。
🔸无冲突分层合并:采用分层合并策略,将所有独立提出的补丁同时整合,利用程序化冲突检测和归纳推理提取高频通用模式,剔除特异性噪声,形成单一连贯的技能文档。
🔸双模式支持:该框架既支持在人类专家编写的技能基础上进行深化增强,也支持从仅含参数知识的弱草稿开始从零创建有效技能。
🔎分析总结
🔸实验表明,经 Trace2Skill 演化的技能具有极强的泛化性,由小模型(35B)生成的技能不仅能提升自身表现,还能使大模型(122B)在分布外任务上的性能提升高达 57.65%。
🔸并行 consolidation 机制显著优于在线顺序编辑方法,不仅在电子表格、数学推理等任务上取得更高准确率,还将计算耗时从小时级降低至分钟级。
🔸相较于基于检索的经验库方法,蒸馏后的声明式技能文档避免了检索偏差和上下文竞争问题,在跨域任务中表现出更稳定的性能增益。
🔸引入交互式多轮代理进行错误分析比单次调用大模型更能准确定位根本原因,生成的补丁具有更强的可迁移性和鲁棒性。
💡个人观点
论文模拟人类专家“先广泛观察后归纳总结”的认知过程,成功将具体的轨迹经验抽象为通用的标准操作程序(SOP),解决了经验学习中过度拟合特定轨迹的难题。
🧩附录

更多推荐


所有评论(0)