从0到1掌握verl-agent：5分钟搭建你的首个LLM智能体训练环境

【免费下载链接】verl-agent verl-agent is an extension of veRL, designed for training LLM/VLM agents via RL. verl-agent is also the official code for paper "Group-in-Group Policy Optimization for LLM Agent Training" 项目地址: https://gitcode.com/gh_mirrors/ve/verl-agent

verl-agent是veRL的扩展框架，专为通过强化学习（RL）训练大型语言模型（LLM）智能体设计。它支持多轮交互环境、自定义记忆模块和多种RL算法，是训练长周期任务智能体的理想选择。

🚀 为什么选择verl-agent？

verl-agent通过创新的步骤独立多轮rollout机制解决了传统方法中上下文长度随交互轮次增长的问题。每个步骤的输入结构完全可定制，无需拼接完整历史记录，使训练长周期任务（如ALFWorld中需要50步完成的任务）变得高效可行。

图：verl-agent与传统RAGEN/Search-R1框架的对比，展示了其高效的上下文管理机制

核心优势：

• 灵活记忆模块：通过agent_system/memory自定义历史信息的存储与使用方式
• 多样化环境支持：内置WebShop、ALFWorld等多种交互环境，支持视觉-语言多模态任务
• 丰富算法库：包含GiGPO、GRPO、DAPO等前沿RL算法
• 硬件效率：支持LoRA低秩适应，7B模型仅需2张H100即可训练

📋 环境准备清单

开始前请确保满足以下条件：

• Python 3.10环境
• 至少24GB显存的GPU（推荐A100/H100）
• PyTorch 2.5.1+
• Git工具

⚡ 快速安装指南

1. 克隆代码仓库

git clone https://gitcode.com/gh_mirrors/ve/verl-agent
cd verl-agent

2. 安装依赖

# 基础依赖
pip install -r requirements.txt

# 如果需要SGLang支持
pip install -r requirements_sglang.txt

3. 验证安装

python -c "import verl; print('verl-agent installed successfully!')"

🔍 核心架构解析

verl-agent采用模块化设计，主要包含以下组件：

图：verl-agent的智能体-环境交互与训练流程

• 智能体-环境交互层：支持WebShop、ALFWorld等环境包
• Rollout数据处理：管理多轮交互数据的采集与预处理
• 组计算机制：实现状态分组与奖励计算，优化训练效率
• 记忆模块：通过memory.py实现自定义历史管理策略

🎯 5分钟上手示例：GSM8K数学推理训练

步骤1：准备数据集

python3 examples/data_preprocess/gsm8k.py --local_dir ~/data/gsm8k

步骤2：启动PPO训练

python3 -m verl.trainer.main_ppo \
  data.train_files=$HOME/data/gsm8k/train.parquet \
  data.val_files=$HOME/data/gsm8k/test.parquet \
  actor_rollout_ref.model.path=Qwen/Qwen2.5-0.5B-Instruct \
  trainer.n_gpus_per_node=1 \
  trainer.total_epochs=15

步骤3：监控训练进度

训练过程中会输出关键指标，包括：

• critic/score/mean：平均奖励分数
• actor/pg_loss：策略梯度损失
• response_length/mean：平均响应长度

📚 进阶资源

• 完整文档：docs/目录包含详细使用指南
• 算法实现：recipe/目录提供各类RL算法示例
• 配置模板：verl/trainer/config/包含预定义训练配置
• 环境示例：agent_system/environments/prompts/展示不同环境的提示设计

❓ 常见问题解决

• 显存不足：减小actor_rollout_ref.actor.ppo_micro_batch_size_per_gpu参数
• 训练不稳定：调整algorithm.kl_ctrl.kl_coef正则化系数
• 环境依赖：参考docker/目录下的容器配置文件

通过以上步骤，你已成功搭建verl-agent训练环境并启动首个LLM智能体训练。探索examples/目录中的更多场景，开始你的智能体训练之旅吧！

【免费下载链接】verl-agent verl-agent is an extension of veRL, designed for training LLM/VLM agents via RL. verl-agent is also the official code for paper "Group-in-Group Policy Optimization for LLM Agent Training" 项目地址: https://gitcode.com/gh_mirrors/ve/verl-agent