一、研究问题与动机

核心问题：LLM智能体在复杂任务中表现出色，但每个任务执行都是孤立的，无法从过去的成功或失败中学习，严重阻碍了其演化能力。

现有方法的缺陷：

• 基于记忆的方法（如Reflexion、Mem0）：直接存储原始轨迹，冗余且噪声严重，难以提取关键信息

• 轨迹压缩方法（如MemRL）：仅模仿过去解决方案，未能提炼核心原则，也未将记忆融入策略决策

• 这些方法忽视了经验迁移需要抽象这一关键洞察——人类专家不记忆每个动作细节，而是发展出技能（紧凑、可重用的策略）

二、提出的方法：SKILLRL

SKILLRL是一个通过自动技能发现和递归演化来弥合原始经验与策略改进之间差距的框架，包含三个核心组件：

2.1 基于经验的技能蒸馏

• 同时保留成功轨迹（提取战略模式）和失败轨迹（综合为简洁的失败教训）

• 使用教师模型将冗长轨迹蒸馏为紧凑、可重用的技能

• 实现 10-20倍 的令牌压缩，同时增强推理效用

2.2 分层技能库（SKILLBANK）

层级	内容	作用
通用技能 SgSg​	跨所有任务类型的通用战略原则	提供基础性指导
任务特定技能 SkSk​	特定任务类别的专门知识	提供精细化、类别特定的策略

• 推理时通过语义相似度检索相关任务特定技能

• 通用技能始终包含在上下文中

2.3 递归技能演化

• 冷启动SFT：在RL前让模型学习如何检索、解释和应用技能

• 动态演化：每个验证轮次后，分析失败轨迹→识别未被当前技能覆盖的失败模式→生成新技能或改进现有技能→更新技能库

• 形成良性循环：智能体改进 → 遇到新挑战 → 驱动技能库扩展 → 促进进一步改进

• 使用GRPO作为基础RL优化器

三、实验设置

维度	内容
环境	ALFWorld（家庭任务）、WebShop（网络购物）、7个搜索增强QA任务
基础模型	Qwen2.5-7B-Instruct
教师模型	OpenAI o3（用于技能蒸馏和SFT数据生成）
基线	闭源LLM（GPT-4o, Gemini-2.5-Pro）、提示/记忆方法（ReAct, Reflexion, Mem0, ExpeL, MemP）、RL方法（RLOO, GRPO）、记忆增强RL（MemRL, EvolveR, Mem0+GRPO, SimpleMem+GRPO）

四、主要结果

4.1 ALFWorld与WebShop性能

方法	ALFWorld（成功率）	WebShop（成功率）
SKILLRL	89.9%	72.7%
GRPO（最佳RL基线）	77.6%	66.1%
Mem0+GRPO	54.7%	37.5%
GPT-4o	48.0%	23.7%

关键发现：

• 相较GRPO绝对提升 12.3%（ALFWorld）和 6.6%（WebShop）

• 在最复杂的子任务（PickTwo, Cool）上分别超越GRPO达 23% 和 22.8%

• 以7B模型显著超越GPT-4o和Gemini-2.5-Pro等大模型

4.2 搜索增强QA

方法	平均准确率
SKILLRL	47.1%
EvolveR	43.1%
Search-R1	38.5%

• 在Bamboogle等复杂多跳任务上超越EvolveR达 19.4%

• 在域外数据集（TriviaQA, 2Wiki）上仍保持竞争力，证明泛化能力强

五、消融与分析结果

消融条件	ALFWorld下降	关键结论
移除分层结构	-13.1%	通用技能提供必要的基础指导
用原始轨迹替换技能	高达 -25%	抽象优于记忆，原始经验噪声严重
移除冷启动SFT	-20%	模型需要学习如何利用技能
移除动态演化	-5.5%	动态演化为技能库提供持续价值

其他关键分析：

• 技能库增长：从55个技能（12通用+43任务特定）增长到100个（20通用+80任务特定）

• 上下文效率：比原始记忆方法减少约 10.3% 的令牌占用

• 收敛加速：达到80%成功率仅需约60步，无演化基线需90步且峰值更低

六、核心贡献总结

1. 提出SKILLRL框架：通过自动技能发现和递归演化，弥合原始经验与策略改进的差距

2. 创建分层技能库SKILLBANK：区分通用与任务特定技能，实现高效检索与指导

3. 引入递归演化机制：确保技能库与智能体策略在RL过程中共同演化

4. 实证验证：在9个基准上达到SOTA，提升15.3%以上，展现卓越的上下文效率和泛化能力

核心哲学：从经验到技能的抽象是构建能力强、样本效率高的LLM智能体的关键原则。这里是自己的论文阅读记录，感兴趣的话可以参考一下，如果需要阅读原文的话可以看这里，如下所示：

项目地址在这里，如下所示：

摘要

大型语言模型（LLM）智能体在复杂任务中展现了惊人的成果，但它们通常在孤立状态下运行，无法从过去的经验中学习。现有的基于记忆的方法主要存储原始轨迹，这些轨迹往往冗余且噪声严重。这阻碍了智能体提取高级、可重用的行为模式，而这些模式对于泛化至关重要。在本文中，我们提出了 SKILLRL 框架，该框架通过自动技能发现和递归演化，弥合了原始经验与策略改进之间的差距。我们的方法引入了一种基于经验的蒸馏机制，以构建分层技能库 SKILLBANK；一种用于通用和任务特定启发式方法的自适应检索策略；以及一种递归演化机制，该机制允许技能库在强化学习过程中与智能体的策略共同演化。这些创新显著减少了令牌占用，同时增强了推理实用性。在 ALFWorld、WebShop 和七个搜索增强任务上的实验结果表明，SKILLRL 达到了最先进的性能，优于强基线方法 15.3% 以上，并且在任务复杂性增加时保持稳健性。

1. 引言

大型语言模型（LLM）智能体（Yao 等人，2022b；Shinn 等人，2023）在各种复杂任务中展现了卓越的能力，例如网页导航（Google，2025；OpenAI，2025c）和深度研究（OpenAI，2025b；Google，2024；Team 等人，2025），通过自然语言与复杂环境进行交互。尽管取得了这些进展，但每次任务执行在很大程度上仍然是 episodic（情节性）的。当前的 LLM 智能体孤立运行，无法从过去的成功或失败中学习（Zhang 等人，2025b），这显著阻碍了它们的演化。因此，一个根本性的挑战依然存在：智能体如何有效地从经验中学习，并将这些知识迁移到其他任务？

图 1. (a) SKILLRL 流程概览。与先前的方法（灰色虚线）存储原始轨迹并丢弃失败案例不同，SKILLRL 采用基于经验的蒸馏机制，将多样化的经验转化为结构化技能。(b) 在 ALFWorld 验证集（Shridhar 等人）上的性能。与标准 GRPO 和基于记忆增强的 RL 相比，SKILLRL 实现了更快的收敛和更高的成功率。

现有的基于记忆的 LLM 智能体方法主要涉及在采样过程中将原始轨迹直接保存到外部数据库中，以作为未来类似任务的参考（Shinn 等人，2023；Zhao 等人，2024）。虽然直观，但这些原始轨迹通常很长，并且包含大量的冗余和噪声（Chhikara 等人，2025），使得模型难以提取关键信息。最近的工作尝试通过在线训练来压缩轨迹并更新记忆库（Zhang 等人，2025b；2026），从而提高了记忆效率。然而，这些方法仅仅是模仿过去的解决方案，它们未能提炼出核心原则，也未能调整智能体的内部策略以利用记忆进行引导决策。如图 1(a) 的虚线流程所示，此类方法常常在信息密度与噪声之间进行权衡，导致性能次优甚至退化，如图 1(b) 所示。

我们认为这些方法忽略了一个关键见解：有效的经验迁移需要抽象化。人类专家不会记住每种情况下的每一个动作；相反，他们会发展技能（Anthropic，2024），即紧凑、可重用的策略，这些策略捕捉了如何完成特定子任务的精髓。受此观察启发，我们提出了 SKILLRL，一个通过自动技能发现和递归技能演化来弥合原始经验与高效策略改进之间差距的框架。

SKILLRL 首先引入了一种基于经验的技能蒸馏机制，该机制从环境交互中收集多样化的轨迹，并应用差异化处理：成功的 episodes 被保留为演示，而失败的 episodes 则被综合成简洁的失败教训，以减轻上下文噪声。其次，我们将这些经验转化为分层技能库 SKILLBANK，区分了用于通用战略指导的通用技能和用于任务级启发式方法的任务特定技能。这种抽象允许智能体在决策过程中自适应地检索相关技能，显著减少令牌占用，同时增强推理实用性。最后，SKILLRL 在强化学习（RL）过程中融入了一种递归技能演化机制，其中技能库被视为一个动态组件，而非静态知识源。通过在每次验证轮次后分析失败模式，以生成新技能或优化现有技能，我们的方法确保技能库和智能体的策略共同演化，从而在任务复杂性增加时保持稳健性。如图 1(b) 所示，SKILLRL 实现了明显更快的收敛和更高的渐近性能。

主要贡献是 SKILLRL，一个框架，它使 LLM 智能体能够通过自动技能发现和递归演化，弥合原始经验与策略改进之间的差距。通过将冗余轨迹提炼为分层的 SKILLBANK，我们的方法抽象出通用和任务特定的技能，以高效地指导决策。此外，我们引入了一种递归演化机制，确保在强化学习过程中技能库和智能体策略共同演化。在 ALFWorld、WebShop 和七个搜索增强基准上的实证结果表明，SKILLRL 实现了最先进的性能，提升了 15.3%，在任务成功率和推理实用性方面显著优于当前的基于记忆的智能体调优基线方法。

2. 预备知识

3. SKILLRL

在本节中，如图 2 所示，我们提出了 SKILLRL，一个旨在通过自动技能发现和递归演化来弥合原始交互经验与策略改进之间差距的框架。SKILLRL 包含三个核心组件。首先，我们开发了一种基于经验的技能蒸馏机制，将冗余轨迹转化为简洁、可操作的知识。其次，我们将这些蒸馏后的经验组织成一个分层技能库 S，从而能够高效地检索通用和任务特定的专业知识。最后，我们引入了一种递归技能演化机制，该机制利用 RL 动态地改进技能库，使其与智能体的策略协同发展。我们详细描述这些组件如下：

3.1. 基于经验的技能蒸馏

从环境交互中收集的原始轨迹 τ 是冗长的，包含探索性动作、回溯和冗余步骤，这些掩盖了导致成功或失败的关键决策。为了将这些经验转化为可操作的知识，我们采用了一个教师模型 MT​ 来将轨迹蒸馏为紧凑、可重用的技能。

图 2. SKILLRL 框架概览。我们使用基础模型收集轨迹，将其蒸馏成分层技能库，执行冷启动 SFT 以实现技能利用，然后基于验证失败进行动态技能演化的 RL 训练。

具体来说，我们首先在目标环境 E 中部署一个基础 LLM 智能体 πbase

3.2. 分层技能库 (SKILLBANK) 构建

遵循 Agent Skills（Anthropic，2024）的设计原则，我们将蒸馏后的知识组织成一个分层技能库 SKILLBANK，以便在决策过程中高效检索相关专业知识。

3.3. 递归技能演化

静态的技能库无法预料智能体将遇到的所有场景。随着策略的改进和对新状态空间的探索，智能体会遇到现有技能无法提供充分指导的情况。我们引入在强化学习过程中的递归技能演化来解决这一限制，使技能库和智能体策略能够共同演化。

4. 实验

我们在九个具有挑战性的 LLM 智能体基准上评估 SKILLRL：ALFWorld、WebShop 和七个搜索增强的 QA 任务。我们的实验旨在回答以下问题：1) SKILLRL 与最先进的方法相比如何？2) 每个组件的贡献是什么？3) 技能库在训练过程中是如何演化的？4) 技能是否加速了模型收敛？

4.1. 实验设置

环境。 ALFWorld（Shridhar 等人）是一个基于文本的游戏，与 ALFRED 具身 AI 基准对齐。智能体必须通过文本命令导航和与物体交互来完成家庭任务。WebShop（Yao 等人，2022a）模拟了网络购物。智能体在现实的网络界面中导航，以找到并购买符合用户规格的产品。此外，我们还在搜索增强的 QA 任务上评估 SKILLRL 的性能，包括单跳 QA 数据集（NQ（Kwiatkowski 等人，2019）、TriviaQA（Joshi 等人，2017）和 PopQA（Mallen 等人，2023））和多跳 QA 数据集（HotpotQA（Yang 等人，2018）、ZWiki（Ho 等人，2020）、MuSiQue（Trivedi 等人，2022）和 Bamboogle（Press 等人，2023））。

基线方法。 我们将 SKILLRL 与四类竞争方法进行比较。首先，我们包括闭源 LLM，特别是 GPT-4o（OpenAI，2024）和 Gemini2.5-Pro（Comanici 等人，2025），它们代表了通用推理和指令跟随的最新技术水平。其次，我们评估基于提示的智能体或基于记忆的方法，包括 ReAct（Yao 等人，2022b）和 Reflexion（Shinn 等人，2023），它们依赖于上下文提示进行多步推理，以及 Mem0（Chhikara 等人，2025）、ExpeL（Zhao 等人，2024）和 MemP（Fang 等人，2025），它们利用外部记忆或经验池来指导行为，而无需参数更新。第三，我们考虑基于 RL 的方法，包括基于组的在线 RL 算法，如 RLOO（Ahmadian 等人，2024）和 GRPO（Shao 等人，2024），它们通过轨迹组的优势估计来优化策略。最后，我们与基于记忆增强的 RL 方法进行比较，例如 EvolveR（Wu 等人，2025）、MemRL（Zhang 等人，2026），以及 Mem0+GRPO 和 SimpleMem（Liu 等人，2026）+GRPO 的组合，这些方法将持久记忆机制直接整合到强化学习优化过程中，以处理长期依赖。对于搜索增强的 QA，我们将 SKILLRL 与 R1-Instruct、Search-o1（Li 等人，2025）、Search-R1（Jin 等人，2025）、ZeroSearch（Sun 等人，2025）和 StepSearch（Zheng 等人，2025）进行比较。

4.2. 主要结果

与基线方法比较。 我们在两个基准上将 SKILLRL 与基线方法进行比较，如表 1 所示。我们的方法在所有基线上均持续优于它们，主要观察结果如下：

1. 相较于基于提示的方法有显著提升。 SKILLRL 在 ALFWorld 上达到 89.9% 的成功率，在 WebShop 上达到 72.7%，大幅优于最佳的基于提示的基线。这种差距表明，虽然上下文学习可以利用过去的经验，但它往往无法从冗长的轨迹中提炼出可操作的知识，或从根本上调整智能体的策略。

2. 优于标准 RL。 RL 训练带来了实质性的提升，但 SKILLRL 持续超越标准 RL 基线。与 PPO、RLOO 和 GRPO 相比，SKILLRL 取得了最佳的总体性能。值得注意的是，由于 SKILLRL 使用 GRPO 作为其基础优化器，相较于 GRPO 在 ALFWorld 上 12.3% 的绝对提升（从 77.6% 到 89.9%）直接归因于我们的技能增强机制，而非算法差异。在复杂的子任务如 Cool 和 Pick2 中，SKILLRL 分别比 GRPO 高出 23.0% 和 22.8%，证明结构化的技能先验能有效地在稀疏奖励环境中加速和增强策略学习。

3. 优于基于记忆增强的 RL。 SKILLRL 显著优于现有的基于记忆增强的 RL 框架，这些框架在管理和更新经验的方式上有所不同。MemRL 仅使用 RL 来更新其记忆库，同时保持策略冻结，未能适应复杂环境，在 ALFWorld 上仅达到 21.4%。EvolveR 联合更新策略和记忆库，有所提升（43.8%），但仍受限于其依赖原始轨迹存储的方式。为了提供一个更具竞争力的基线，我们实现了 Mem0+GRPO，它将最先进的基于提示的记忆机制与优化的策略模型相结合。虽然这种混合方法将性能提升至 ALFWorld 上的 54.7% 和 WebShop 上的 37.5%，但它仍然与 SKILLRL 存在较大差距（约 35.2% 的绝对成功率差距）。这些结果验证了我们的核心假设：有效的经验迁移需要高层次的技能抽象和共同演化的库，而非简单的轨迹压缩或基于提示的记忆检索。

与闭源模型比较。 值得注意的是，基于 Qwen2.5-7B-Instruct 的 SKILLRL 显著优于规模大得多的闭源模型，如表 1 所示。在 ALFWorld 上，我们的方法超过 GPT-4o（OpenAI，2024）41.9%，超过 Gemini-2.5-Pro（Comanici 等人，2025）29.6%。这表明有效的技能学习可以弥补模型规模的不足，使得较小的开源模型通过结构化的经验知识也能实现卓越的任务性能。

在搜索增强 QA 上的性能。 如表 2 所示，SKILLRL 取得了 47.1% 的平均得分，显著优于 Search-R1（38.5%）和 EvolveR（43.1%）。主要观察包括：1) 卓越的多跳推理能力： SKILLRL 在 Bamboogle 等复杂任务中表现出色，超越 EvolveR 达 19.4%。这表明分层技能有效地指导了多步信息合成。2) 强大的泛化能力： 尽管仅在有限的数据集（NQ, HotpotQA）上训练，SKILLRL 在 TriviaQA 和 2Wiki 等 OOD 任务上仍保持了有竞争力的性能，证实了蒸馏出的搜索策略是任务无关的。

4.3. 分析

在本节中，我们提供关于每个模块有效性和技能演化动态的详细分析。

消融研究。 我们进行消融实验以评估每个组件的贡献，结果见表 3。根据结果：（1）移除分层结构（即仅使用任务特定技能）导致 ALFWorld 上性能下降 13.1%，WebShop 上下降 11.3%，表明通用战略原则提供了必要的基础性指导。（2）用原始轨迹替换技能库导致了最大的性能下降（高达 25%），这直接支持了我们的动机，即抽象优于记忆。原始经验引入了显著的冗余和噪声，阻碍了有效的知识迁移。（3）冷启动 SFT 至关重要（没有它性能下降 20%），证实了基础模型在进入 RL 阶段之前，需要一个初始的显式演示阶段来学习如何自适应地检索和利用抽象技能。（4）动态演化贡献了 5.5% 的性能提升，通过确保技能库是一个动态组件，而非静态数据库。这种共同演化允许智能体通过解决初始技能集未覆盖的新兴失败模式，来迭代地改进其内部策略。

ALFWorld 上的逐任务分析。 表 1 按任务类型细分了 ALFWorld 的性能。最大的提升出现在 PickTwo (+23%)、Cool (+22%) 和 Heat (+15%) 任务上，这些任务是需要多步规划和状态跟踪的最具挑战性的任务。任务特定技能在此尤其有价值，它们捕捉了诸如“在拾取两个物体时，在搜索第二个物体之前，先确认第一个已固定”等策略，以解决常见的失败模式。

技能库增长。 图 3 显示了技能库在训练过程中的演化情况。初始技能库包含 55 个技能（12 个通用，43 个任务特定）。通过动态演化，到训练结束（第 150 步）时增长到 100 个技能。增长主要由任务特定技能驱动（从 43 个增加到 80 个），而通用技能的增长则更为平稳（从 12 个增加到 20 个）。值得注意的是，我们观察到各任务类别的扩展是均衡的，确保智能体为每种环境交互发展出专门的专业知识。这种整体扩展反映了智能体日益增长的能力，即改进其技能库并处理特定任务类型内的多样化场景。

上下文效率。 为了评估技能抽象对推理开销的影响，我们比较了 SKILLRL 与使用原始轨迹的记忆增强基线（Qwen2.5-7B with Raw Memory）的平均提示长度，如图 4 所示。结果显示，虽然原始记忆方法遭受高且波动的令牌占用（平均约 1,450个令牌），SKILLRL 维持了显著更精简的提示（平均约 ≤1,300 个令牌），实现了大约 10.3% 的上下文长度缩减。这种效率源于我们的蒸馏机制，该机制将冗长的环境交互压缩为高密度、可操作的技能。值得注意的是，SKILLRL 在实现更优性能的同时，所需的上下文少于基于记忆的基线，这表明技能抽象有效地缓解了传统基于记忆的智能体中常见的上下文膨胀问题。

表 2. 在搜索增强的 QA 任务上的性能。SKILLRL 在 NQ 和 HotpotQA 上训练。 和 分别表示域内和域外数据集。\* 表示从 (Sun 等人，2025) 复现的结果。

表 3. 消融研究结果。我们报告 ALFWorld 和 WebShop 上的平均成功率 (%)。

方法	ALFWorld	WebShop
SKILLRL	89.9	72.7
技能库消融
无分层结构	76.8	61.4
无技能库（使用原始轨迹）	61.7	50.2
训练流程消融
无冷启动 SFT	65.2	46.5
无动态演化	84.4	70.3

图 3. RL 训练期间技能库大小的演化。动态技能演化在验证检查点时添加技能。

演化动态。 图 5 展示了有无递归技能演化机制的强化学习训练曲线。我们观察到，虽然无演化的 SKILLRL 表现出稳定的改进，但带有技能演化的 SKILLRL 展现出显著更高的学习率和更优的渐近性能。具体来说，SKILLRL 在 60 个训练步内达到了超过 80% 的成功率，而基线大约需要 90 步才能达到一个较低的峰值。这种收敛加速表明，新技能的动态引入和现有技能的改进有效地为智能体提供了及时的战略指导，以克服局部最优。此外，更高的性能上限验证了技能库和策略的共同演化使得智能体能够适应静态记忆方法无法解决的日益复杂的任务场景。

定性分析。 为了进一步研究 SKILLRL 如何利用学到的知识，我们在图 6 中可视化了在 ALFWorld 和 WebShop 上的推理过程。案例研究表明，我们训练好的智能体能够有效地从 SKILLBANK 中检索并执行相关技能，以指导其决策。例如，在 WebShop 任务中，智能体调用了诸如“优先考虑核心关键词”的通用策略，以及“聚焦关键查询”等任务特定启发式方法，以确保产品在有限的预算内满足所有约束。同样，在 ALFWorld 中，智能体协调了分层技能，即使用“渐进式目标分解”进行高层规划，使用“先拿物体再使用电器”来避免常见的逻辑陷阱。这种通用和特定技能的无缝整合证实了智能体不仅仅是记忆轨迹，而是发展了对任务逻辑的结构化理解，从而实现更稳健、更高效的问题解决。

5. 相关工作

LLM 智能体。 能力强大的 LLM 的出现催化了自主智能体系统的快速发展（Wei 等人，2026）。ReAct（Yao 等人，2022b）交织推理和行动，使得在交互过程中能够进行思维链风格的规划，而 Reflexion（Shinn 等人，2023）则通过自我反思过去的失败引入了口头强化。像 AutoGen（Wu 等人，2024）和 CAMEL（Li 等人，2023）这样的框架展示了通用多智能体能力，具备自动化编排和多样化工具集成。虽然初期工作集中在编码或基础算术等受限任务上，这些方法主要依赖上下文学习（ICL）（Dong 等人，2024）。然而，随着任务变得更加复杂，这些智能体难以扩展，因为它们将每次交互视为孤立事件，每次新任务都必须从头开始，没有任何先验知识。

图 5. ALFWorld 验证集上的成功率。递归技能演化显著加速了收敛并提升了整体性能上限。

智能体中的记忆机制。 为了克服有限上下文窗口和智能体无法从经验中学习的局限性，外部记忆架构已成为智能体设计的基石（Hu 等人，2025；Wang，2025）。早期系统主要使用静态 RAG 范式或将原始轨迹存储为少样本示例（Wang 等人；Chhikara 等人，2025；Zhang 等人，2025a；Wang 等人，2024）。然而，原始轨迹通常令牌密集且包含显著的冗余和噪声，这可能导致性能下降。当前研究已转向自我改进的记忆，将交互提炼为更高层次的见解或程序性技巧（Wang & Chen，2025；Tang 等人，2025；Fang 等人，2025；Zhao 等人，2024；Ouyang 等人，2025；Wei 等人，2025）。虽然一些近期工作探索通过在线训练更新记忆库以提高效率（Zhang 等人，2025b；2026），但许多现有方法仍难以区分高价值经验和噪声，或未能提炼出能够指导内部决策的核心原则。

智能体技能和强化学习的演化。 智能体技能（Anthropic，2024）的发展，即紧凑、可重用、捕捉子任务精髓的策略，越来越多地通过持续学习（CL）和 RL 的视角来看待。传统的 CL（Parisi 等人，2019）侧重于预定义任务中的知识保留，而自演化智能体（Gao 等人，2025；Xia 等人，2025；Liu 等人，2025）则旨在开放式环境中进行主动技能获取（Fang 等人，2025；Wang 等人，2025）。虽然 RL 被广泛用于对齐 LLM（Schulman 等人，2017；Ouyang 等人，2022），或通过基于规则的验证器改进推理（Shao 等人，2024），但由于稀疏奖励和长时程，将其应用于智能体技能仍然具有挑战性。与先前将记忆视为静态或辅助源的基于记忆增强的 RL 不同，近期的趋势表明，高效经验迁移的关键在于抽象（Wu 等人，2025）。我们的工作在此基础上，将技能库视为一个与智能体策略共同演化的动态组件，利用 RL 通过递归失败分析来改进结构化技能。

6. 结论

我们介绍了 SKILLRL，一个用于 LLM 智能体中技能增强强化学习的框架。通过将原始轨迹蒸馏为紧凑、可重用的技能，并在训练过程中实现动态技能演化，SKILLRL 在 ALFWorld 和 WebShop 上取得了最先进的性能，同时使用的上下文远少于基于记忆的方法。我们的工作表明，从经验到技能的抽象是构建能力强、样本效率高的智能体的一个强有力原则。