摘要：近期，强化学习（Reinforcement Learning，RL）领域的进展显著提升了大语言模型（Large Language Models，LLMs）的智能体能力。在长期和多轮次智能体任务中，仅依赖结果奖励的现有方法常常面临监督稀疏的问题。为应对这一挑战，我们提出了基于树搜索的分组智能体强化学习方法——树结构群体相对策略优化（Tree-based Group Relative Policy Optimization，Tree-GRPO），其中每个树节点代表完整的智能体交互步骤。通过共享公共前缀，树搜索采样在固定的标记（token）或工具调用预算内增加了可实现的推演（rollout）次数。此外，我们发现树状结构的轨迹即使仅使用结果奖励，也能自然地构建出分步过程监督信号。基于此，Tree-GRPO在树内和树间两个层级上估算分组相对优势。通过理论分析，我们证明了树内层级分组相对策略优化的目标等同于分步直接偏好学习的目标。在11个数据集和3类问答任务上进行的实验表明，所提出的基于树的强化学习方法优于基于链的强化学习方法。Huggingface链接：Paper page，论文链接：2509.21240

研究背景和目的

研究背景：
近年来，强化学习（RL）在提升大型语言模型（LLMs）的智能体能力方面取得了显著进展。

然而，在处理长期和多轮次的智能体任务时，现有方法主要依赖于结果奖励，这往往导致监督信号稀疏，训练过程不稳定，甚至出现训练崩溃的问题。特别是在需要复杂推理和决策的场景中，单一的最终结果奖励无法提供足够的监督信息来指导模型的行为。为了解决这一问题，研究界开始探索更细粒度的监督信号，以提供更丰富的训练反馈。

研究目的：
本研究旨在提出一种基于树搜索的分组相对策略优化方法（Tree-based Group Relative Policy Optimization, Tree-GRPO），以解决在多轮次智能体任务中由于结果奖励稀疏导致的学习效率低下问题。

具体目标包括：

1. 减少轮次预算：通过树搜索采样策略，共享公共前缀，增加在固定轮次预算内可实现的展开次数，从而提升训练效率。
2. 构建过程监督信号：利用树结构自然地构建逐步的过程监督信号，即使在仅使用结果奖励的情况下，也能提供更细粒度的训练反馈。
3. 提升智能体性能：通过分组相对优势估计，提升智能体在复杂任务中的推理和决策能力，特别是在多跳问答、单跳问答和网页智能体问答等任务中超越现有基线方法。

研究方法

1. 树搜索采样策略：
Tree-GRPO采用基于树搜索的展开策略，将每个树节点视为一个完整的智能体交互步骤，而非传统链式方法中的独立完整轨迹。通过共享公共前缀，树搜索采样在固定轮次预算内显著增加了展开次数。

具体实现中，每个节点代表一个“思考-行动-观察”步骤，通过扩展和选择节点来构建搜索树，从而生成多样化的轨迹样本。

2. 分组相对优势估计：
Tree-GRPO在树内和树间两个层次上进行分组相对优势估计。

树内估计通过比较同一树内不同轨迹的相对优势，树间估计则通过比较不同树之间的相对优势。这种方法不仅利用了结果奖励，还隐含地引入了逐步的过程偏好学习目标，从而提供了更稳定的训练信号。

3. 实验设置与基线比较：
实验在11个基准数据集上进行，涵盖多跳问答、单跳问答和网页智能体问答三类任务。基线方法包括直接推理方法（如Direct Inference、ReAct）、高级检索增强方法（如Search-o1）和基于强化学习的方法（如GRPO、GSPO）。

实验使用Qwen-2.5和Llama-3.2系列模型，评估指标包括准确率（EM）和F1分数。

研究结果

1. 性能提升：
Tree-GRPO在多个基准数据集上显著优于基线方法。

例如，在Qwen2.5-3b模型上，Tree-GRPO在多跳问答任务中的平均准确率提升了16%至69%，在单跳问答任务中也有稳定提升。特别是在小规模模型（如Qwen2.5-1.5b）上，Tree-GRPO展现了显著的优势，证明了其方法在资源受限情况下的有效性。

2. 训练效率提升：
通过树搜索采样策略，Tree-GRPO在相同的轮次预算下获得了更多的训练样本。

例如，在Qwen2.5-3b模型上，Tree-GRPO仅使用四分之一的轮次预算便达到了与链式方法相当或更好的性能。这表明树搜索方法能够更有效地利用有限的计算资源，提升训练效率。

3. 过程监督信号的有效性：
理论分析表明，树内层次的分组相对策略优化目标等价于逐步的直接偏好学习。

实验结果验证了这一理论，Tree-GRPO通过构建逐步的过程监督信号，显著提升了模型在复杂推理任务中的表现。特别是在需要多步推理的场景中，Tree-GRPO的优势更为明显。

研究局限

1. 数据集限制：
尽管实验在多个基准数据集上进行了验证，但网页智能体问答任务的训练数据仍然有限。

特别是高难度的测试基准往往缺乏足够的训练样本，限制了模型性能的进一步提升。未来需要更多高质量的训练数据来支持更复杂的智能体任务。

2. 模型规模与性能权衡：
在大规模模型（如Qwen2.5-14b）上，Tree-GRPO虽然仍能带来一定性能提升，但优势相对较小。

这表明随着模型规模的增大，强化学习方法的增益可能趋于饱和。如何在更大规模模型上进一步挖掘强化学习的潜力，是未来研究需要解决的问题。

3. 复杂任务中的探索与利用：
在复杂任务中，Tree-GRPO有时会陷入局部最优解，缺乏足够的探索能力。

例如，在需要多步推理和决策的场景中，模型可能过早地选择一条看似合理的路径，而忽略了其他潜在的最优解。未来需要引入更复杂的探索机制，以提升模型在复杂任务中的全局搜索能力。

未来研究方向

1. 扩展数据集与任务类型：
未来研究可以进一步扩展数据集和任务类型，特别是在网页智能体问答等复杂任务中收集更多高质量的训练样本。

同时，可以探索更多类型的科学推理任务，如生物医学问答、材料设计等，以验证Tree-GRPO的泛化能力。

2. 优化模型架构与训练策略：
针对大规模模型，可以探索更高效的模型架构和训练策略。

例如，采用模型剪枝、量化等技术降低模型复杂度，提升训练效率。同时，可以研究更先进的优化算法和分布式训练方法，以支持更大规模模型的训练。

3. 引入更复杂的探索机制：
为了提升模型在复杂任务中的全局搜索能力，可以引入更复杂的探索机制。

例如，结合蒙特卡洛树搜索（MCTS）和深度强化学习的方法，通过模拟退火、随机扰动等技术增加模型的探索能力。同时，可以研究基于不确定性估计的探索策略，使模型在不确定情况下更加谨慎地选择行动。

4. 提升模型可解释性与可信度：
科学推理任务对模型的可解释性和可信度要求较高。未来研究可以探索如何提升模型的可解释性，例如通过可视化技术、注意力机制分析等方法揭示模型的推理过程。同时，可以研究模型的不确定性估计方法，量化模型预测的可信度，为科学决策提供更加可靠的依据。

5. 跨领域迁移学习：
最终，可以探索Tree-GRPO在不同领域之间的迁移学习能力。

通过在不同领域数据集上预训练模型，然后微调至目标领域，验证模型的跨领域泛化能力。这有助于推动Tree-GRPO在实际应用中的广泛部署，解决更多复杂的科学推理问题。