verl × 昇腾:从强化学习到 Agent 构建技术之旅
2026 年 6 月 27 日,verl× 昇腾技术分享交流会-互联网Meetup系列第一期于北京圆满落幕。活动特邀verl开源社区核心维护者与行业顶尖技术专家演讲,带来干货满满的实战分享。华为中国政企互联网系统部部长黄健、华为昇腾生态发展部部长张良等多位领导现场致辞。

本次交流会汇聚30+互联网企业、5+金融机构、10+行业合作伙伴及众多高校研究院专家等,线下百余位资深开发者齐聚一堂、共探技术新势;活动同步开启线上直播通道,吸引数千名技术爱好者云端观学、交流探讨。整场活动交流氛围浓厚热烈,聚力搭建起高效的技术互通桥梁,进一步助推昇腾生态共建与开源技术融合发展。
华为中国政企互联网系统部部长黄健致辞:verl作为中国主流的强化学习框架,昇腾一直保持和社区深度的合作,并将其作为第一优先级进行适配,在新产品发布时即完成对 verl 功能特性95% 以上的适配。目前昇腾与verl社区在 Agent、多模态等场景已形成深度商用合作。同时,昇腾会持续与verl社区深度合作,共同推动人工智能产业的蓬勃发展。
本次交流会以“从强化学习到 Agent 构建的技术之旅”为主题,围绕 verl 框架路线图、verl的昇腾方案与广泛实践、On-policy distillation在verl中的实践、veomni核心并行策略与 verl-omni 多模态强化学习、金融行业落地实践等话题展开,呈现了 verl 开源社区与昇腾在 RL 训练与 Agent 构建等领域的最新实践成果:
verl 路线图发布,uni-agent 首次亮相
verl Maintainer 巫锡斌对今年 verl 的重点工作做了总结和展望。上半年社区将年初规划的架构设计基本实现,框架拆分为 core 与 trainer 两个层级,core 部分包含 Model Engine、Inference Server、TransferQueue 和 Checkpoint Engine 等可插拔组件,其中 TransferQueue 由华为贡献。版本方面,0.7 版本从单轮演进到多轮,0.7.1 加入 Checkpoint Engine,0.8 版本正式 release TransferQueue trainer、OPD,并推出 uni-agent、verl-omni 、verl-SpeCo等子项目。下半年将聚焦大规模 Agent RL,围绕沙箱基础设施、长上下文推理与训练、白盒走向黑盒 Agent 等挑战,通过 trainer 统一推进。
verl Maintainer 丁誉洋介绍了 uni-agent 项目的实践进展。他首先分享了 Coding Agent 强化学习的验证与优化工作:针对长程 Agent 任务中 128K 长序列带来的资源利用难题,Reward Modeling 等新挑战,通过异步训练在 128K 长上下文场景下实现 4 倍以上加速;同时结合 verl 中的 Routing Replay、Rollout Correction 等能力,进一步提升了模型在长程任务上的训练效果。Uni-Agent 的长期目标是将各类形态的 Agent 统一到一个框架中,让用户能够即插即用地部署沙箱并适配工具,打造面向真实世界的Agent 强化学习框架。
昇腾深度适配 verl,AsyncFlow 性能提升 3.81 倍,训推一致性实现 logp diff 为零
华为昇腾开发者吴聪系统介绍了 verl 在昇腾上的方案与广泛实践。昇腾适配 verl 经历了从 v0.3 获得 CI 权限到 v0.8.0 核心特性 100% 覆盖的演进,完成了"从适配跟随到原生支持"的质变。性能方面,大 EP 并行将 Qwen3-235B 单次 rollout 从 8000 秒优化至 2000 余秒,AsyncFlow 通过TransferQueue异步队列进行数据传输,多个Worker并行可同时向TQ发送数据,CPU 权重暂存层实现权重转换时训推完全解耦,性能相比于同步RL算法提升 3.81 倍。训推一致性方面,通过训推前向逻辑对齐、批次不变性改造在 Qwen3-30B 上达成 logp diff 为零,相关实践在 GLM5 训练中得到充分验证。吴聪还分享了"以小验大"方法论,通过小模型快速验证大模型训练稳定性。
Agent 训练从白盒走向黑盒:uni-agent gateway设计与黑盒agent训练实践
Uni-Agent核心贡献者翟智强介绍了 Uni-Agent 中黑盒 Agent 训练的设计与实践。随着 Agent 复杂度提升,自定义 AgentLoop 代价越来越高,黑盒方案可以实现第三方Agent的快速接入,原生支持各种Harness。议题介绍了 uni-agent中Agent Runner、Gateway、KVC-Aware 调度器以及沙箱基础设施等组件,Gateway 通过前缀匹配加增量编码将多轮 message 轨迹高效转化为可训练 token 序列;KVC-Aware 调度器综合考虑亲和与负载,在 NPU集群实现 1.33 倍吞吐提升;沙箱基础设施提供了命令式编程的SDK、安全隔离、快速启动以及弹性伸缩等功能。在昇腾上基于Qwen3.5-9B 训练的 SWE-Agent 结果与 GPU 白盒方案一致。
On-Policy Distillation 在 verl 中的实践与洞察
THUNLP 实习生黎亚轩分享了 OPD 在 verl 中的研究成果 rethinking opd。OPD 通过 student 生成 trace、teacher 计算 token 级对数差作为 loss,比 RL 样本利用率更高,比 SFT 能缓解暴露偏差。黎亚轩所在的清华团队探索了是否一个强teacher一定能教出一个优秀的student。通过三组实验揭示:OPD 成功的关键是 teacher 与 student 的 thinking pattern 相近而非 teacher 绝对分数;只有经 RL 训练的 teacher 才具备信息增益。实践上,他提出 Off-Policy Cold Start 方案提升训练稳定性以及蒸馏的上限,并建议在 OPD 时使用teacher aligned prompt 和 OOD 的 prompt 混用。最后就 OPD 与 RL 结合、多 teacher 蒸馏等方向进行了展望。
veomni + verl-omni:多模态生成模型 RL 训练走向成熟
veomni Maintainer 贾彬介绍了 veomni 多模态训练框架的设计思路。veomni 以高易用性、高性能、高正确性为目标,基于 PyTorch 原生 FSDP,叠加 SP 支持长文训练、EP 支持 MoE 模型。veomni 与昇腾自 2025 年下半年深度合作,支持Qwen3系列为主的各类开源模型在 NPU 上的训练,正确性和性能均达到实用标准。同时veomni 已接入 verl/verl-omni 作为训练后端,可覆盖 95% 的 RL 训练场景,后续将与 verl-omni 深度合作推进多模态生成模型的训练。
vLLM-Omni 与 verl-omni 核心贡献者邓迪丹展示了 verl-omni 多模态 RL 训练框架。verl-omni 面向扩散与全模态模型,复用 verl 的 RL 控制平面,重写适配多模态生成的 Rollout、Reward 与Actor更新流程。核心特性包括 step-wise continuous batching 将去噪循环拆分为 step 级粒度、Diffusion Rollout 校正控制分布漂移、灵活 Reward 服务支持多奖励并发异步评分。端到端吞吐相比 FlowGRPO 基线提升约 20%,Qwen-Image 训练 的Validation Reward 提升至 0.97。框架同时支持 GPU 和 Ascend NPU,后续规划包括确定化 RL 与全异步流水线架构。
金融行业落地与投机解码协同训练
某头部股份制银行 AI Infra 架构师谭培祥分享了 verl 在该行的落地实践。金融行业面临业务复杂度高、长上下文性能压力大、国内硬件多技术栈并存、合规安全要求苛刻四大挑战。性能优化方面,落地Prefix Grouper 算法,通过前缀分组复用减少重复计算;训练稳定性方面,通过在昇腾上实现的 Routing Replay 保证 MoE 路由训推一致性。谭培祥重点介绍了即将开源的 verl-SpeCo 项目,通过 Draft Model 与主模型 Co-Training 来保持策略一致性,从第 40 步起展现稳定性能收益,训练结束后可产出线上可用的 Draft Model,让投机解码技术贯穿大模型训练推理全生命周期,计划 6 月底开源。
本次交流会系统展示了 verl 框架从架构重构到 Agent RL 演进的完整图景,从 AsyncFlow 全异步训练、训推一致性到黑盒 Agent 训练基础设施,从 On-Policy Distillation 机制洞察到多模态 RL 训练框架,再到金融行业落地实践,为业界开发者带来了一场干货满满的技术盛宴。
昇腾与verl社区共同成长,从早期适配跟随到核心特性100%覆盖,在 TransferQueue、Gateway 等关键组件上深度贡献。面向未来,verl 社区与昇腾一起将持续推进框架能力演进,欢迎广大开发者的加入,共同加速大模型强化学习训练的普惠化进程、探索从 RL 训练到通用 Agent 构建的完整技术路径。
由衷致谢 verl 开源社区持续开放优质前沿技术,今后华为互联网系统部也会联合更多社区开展一系列技术交流活动,共同推动人工智能产业蓬勃发展。
“数智世界 一触即达” 选择华为,让您的企业轻松数智化。
「免责声明」:以上页面展示信息由第三方发布,目的在于传播更多信息,与本网站立场无关。我们不保证该信息(包括但不限于文字、数据及图表)全部或者部分内容的准确性、真实性、完整性、有效性、及时性、原创性等。相关信息并未经过本网站证实,不对您构成任何投资建议,据此操作,风险自担,以上网页呈现的图片均为自发上传,如发生图片侵权行为与我们无关,如有请直接微信联系g1002718958。
更多推荐

所有评论(0)