作者：昇腾实战派
知识地图链接：强化学习知识地图

在大规模语言模型的训练与推理过程中，显存占用、计算效率与资源利用率是决定训练能否顺利进行的关键因素。尤其在采用 PPO 等强化学习算法进行对齐训练时，动态批次、KV Cache 管理、梯度检查点与模型并行策略的合理配置，直接影响训练稳定性与吞吐性能。

本文基于 SGLang 引擎与 VeRL 框架的实际使用经验，系统梳理了从基础批次控制到多轮交互、自定义奖励函数等核心配置项，结合性能影响与显存权衡，提供一套可落地的调优实践方案，帮助开发者在有限硬件资源下实现高效、稳定的模型训练。

当前昇腾平台均已支持SGLang 与 VeRL 框架

---

1. 基础批次配置：控制训练吞吐与显存平衡

参数	配置方式	性能 / 显存影响	说明
data.train_batch_size	增大后训练单次迭代吞吐量提升，显存占用增加	单次训练迭代发送给 Rollout Engine 的样本数量（Prompt 数量），决定每轮训练的基础数据量
actor_rollout_ref.actor.ppo_mini_batch_size critic.ppo_mini_batch_size	增大后单轮更新样本数增加，显存占用增加	PPO 算法中 Actor/Critic 的更新批次，总样本拆分为多个 mini-batch 分步更新
actor_rollout_ref.actor.ppo_micro_batch_size_per_gpu critic.ppo_micro_batch_size_per_gpu	单次 forward/backward 数据量增加，显存占用显著上升；过小会增加梯度累积次数，显存占用降低但吞吐量下降	单 NPU 单次 Forward/Backward 的样本量，梯度累积的核心参数

调优建议：在显存受限场景下，优先减小 ppo_micro_batch_size_per_gpu，配合梯度累积（gradient accumulation）实现等效大批次训练，避免显存溢出。

---

2. 动态批次配置：智能适配样本长度，提升资源利用率

参数	配置方式	性能 / 显存影响	说明
actor_rollout_ref.actor.ppo_max_token_len_per_gpu critic.ppo_max_token_len_per_gpu	根据样本长度自动调整批次大小，避免固定批次导致的显存浪费或溢出	单 NPU 微批次的最大 Token 总数，需配合 use_dynamic_bsz 使用
reward_model.forward_max_token_len_per_gpu	forward 阶段无梯度存储，显存占用低于训练阶段，可适度增大阈值	Reward Model/Critic 仅 Forward 时的单 NPU 最大 Token 数
actor_rollout_ref.actor.use_dynamic_bsz critic.use_dynamic_bsz	启用后适配样本长度差异，提升计算资源利用率	是否启用动态批次模式，启用后忽略样本数参数，按 Token 数打包
actor_rollout_ref.ref.log_prob_use_dynamic_bsz	启用后适配样本长度差异，提升计算资源利用率	计算 log_prob 时启用动态批次
trainer.balance_batch	分布式训练中平衡卡间的 Token 数量，避免部分负载过高	分布式训练中是否平衡各 DP Rank 的 Token 数量

调优建议：当训练数据中 Prompt 长度差异较大时，建议启用 use_dynamic_bsz，并设置合理的 ppo_max_token_len_per_gpu（如 2048~4096），可有效减少显存浪费，提升利用率。

---

3. 生成采样配置：控制生成多样性与资源开销

参数	配置方式	性能 / 显存影响	说明
actor_rollout_ref.rollout.temperature	长度越大，KV Cache 占用显存越多；过短可能浪费模型容量	控制生成随机性，值越高越多样，越低越确定
actor_rollout_ref.rollout.top_k	K 越小，采样速度越快	采样时仅从概率前 K 个 Token 中选择
actor_rollout_ref.rollout.top_p	P 越低，采样范围越小，速度越快	累积概率达到 P 时停止采样，动态调整候选集
actor_rollout_ref.rollout.n	性能：N 越大，推理耗时线性增加；内存：需存储 N 个 response 的 KV Cache，占用翻倍	每个 Prompt 生成的 Response 数量（GRPO 组大小）

调优建议：在保证生成质量的前提下，可将 n=1 用于快速验证；若需多样性，可设 n=4，但需注意 KV Cache 显存开销。top_k 与 top_p 可结合使用，实现高效且可控的采样。

---

4. 性能与资源管理：精细化控制显存与计算效率

参数	配置方式	性能 / 显存影响	说明
actor_rollout_ref.rollout.gpu_memory_utilization	值越高，模型参数与 KV Cache 占用显存比例越大	SGLang 引擎中模型 + KV Cache 的显存占用比例
actor_rollout_ref.rollout.tensor_model_parallel_size	拆分模型权重到多个 NPU，单个 NPU 显存占用降低	张量并行的 NPU 数量，模型权重拆分到多 NPU 运行
actor_rollout_ref.rollout.enable_chunked_prefill	显著降低超长 Prompt 的显存峰值；短 Prompt 场景下无收益，反而拖慢速度	长 Prompt 分块预处理，降低显存峰值
actor_rollout_ref.actor.data_loader_seed	-	数据加载随机种子（避免多 NPU 数据对齐错误）
actor_rollout_ref.actor.checkpoint.contents	仅保存 model 和 optimizer，性能显存平衡点	检查点保存内容（model/optimizer/extra）

调优建议：对于长文本任务，启用 enable_chunked_prefill 可有效缓解显存峰值问题；tensor_model_parallel_size 应根据 NPU 显存与模型大小合理设置（如 2、4、8）；gpu_memory_utilization 可设为 0.8~0.95，以最大化显存利用率。

---

5. SGLang 专属配置：优化注意力计算性能

参数	配置方式	性能 / 显存影响	说明
actor_rollout_ref.rollout.engine_kwargs.sglang.attention_backend	flashinfer 最快，triton 兼容性强	注意力计算后端，可选 flashinfer/triton/flashmla

调优建议：在支持的硬件环境下，优先选择 flashinfer 后端以获得最佳推理性能；若需兼容性保障，可使用 triton。

---

6. 多轮交互配置：支持复杂对话与工具调用

参数	配置方式	性能 / 显存影响	说明
actor_rollout_ref.rollout.multi_turn.enable	性能：多轮推理耗时随轮次增加；内存：轮次越多，KV Cache 累积的历史对话占用越高	是否启用多轮对话 / 工具调用模式
actor_rollout_ref.rollout.multi_turn.tool_config_path	-	工具配置文件路径，定义可调用的外部工具

调优建议：启用多轮对话时，需评估历史对话长度对显存的影响，必要时结合 enable_chunked_prefill 降低峰值压力。

---

7. 数据集配置：灵活管理训练与验证数据

参数	配置方式	性能 / 显存影响	说明
data.train_files / data.val_files	-	训练 / 验证集的 Parquet 文件路径，支持本地 / HDFS
data.max_prompt_length / data.max_response_length	-	Prompt/Response 的最大长度，超过截断

调优建议：合理设置最大长度可避免无效计算与显存浪费，建议根据任务需求设定（如 2048、4096）。

---

8. 模型训练配置：平衡显存与训练效率

参数	配置方式	性能 / 显存影响	说明
actor_rollout_ref.model.path	-	Hugging Face 模型路径（本地 / HDFS）
actor_rollout_ref.model.enable_gradient_checkpointing	减少训练时的激活值存储；性能下降 10%-30%，显著降低显存占用（尤其大模型），避免激活值溢出	启用梯度检查点，以时间换显存
actor_rollout_ref.model.enable_activation_offload	将激活值卸载到 CPU，增加 CPU-NPU 数据传输开销，性能下降，显存占用大幅降低	激活值卸载
actor_rollout_ref.model.use_remove_padding	减少无效计算，提升训练效率；减少 padding 对应的显存占用，提升显存利用率	减少冗余 padding 操作
actor_rollout_ref.model.use_fused_kernels	融合 FlashAttention/fused MLP 等核函数，计算效率提升；融合核仅优化计算逻辑，不增加内存占用	优化计算路径
actor_rollout_ref.actor.clip_ratio	-	PPO 裁剪比率，控制策略更新幅度
actor_rollout_ref.actor.optim.lr	适当预热步数，避免训练震荡，提升收敛速度	Actor 优化器学习率
fsdp_config.param_offload / optimizer_offload	显存占用显著降低，卸载部分存储到 CPU	将模型参数 / 优化器状态卸载到 CPU，支持更大模型训练

调优建议：对于 70B 以上大模型，建议启用 enable_gradient_checkpointing 与 enable_activation_offload，并结合 param_offload 实现超大模型训练；use_remove_padding 可显著提升训练效率。

---

9. 奖励模型配置：控制推理长度与显存开销

参数	配置方式	性能 / 显存影响	说明
reward_model.enable	-	是否启用奖励模型（RM）
reward_model.model.path	-	奖励模型路径，支持 AutoModelForSequenceClassification
reward_model.max_length	长度每增加 1024 Token，显存占用增加 0.3GB-0.8GB（随模型大小变化）	Reward Model 处理的最大文本长度

调优建议：根据任务需求设置 max_length，避免过长导致显存溢出；若奖励模型为轻量级，可适度放宽限制。

---

10. 算法配置：控制策略更新与奖励设计

参数	配置方式	性能 / 显存影响	说明
algorithm.gamma	-	未来奖励折扣因子
algorithm.use_kl_in_reward	-	是否在奖励中加入 KL 惩罚，控制 Actor 与 Reference 模型偏差

调优建议：gamma 通常设为 0.95~0.99，use_kl_in_reward 可有效防止策略漂移，建议启用。

---

11. 训练器配置：控制训练流程与日志输出

参数	配置方式	性能 / 显存影响	说明
trainer.total_training_steps	-	训练总步数，优先于总轮次
trainer.save_freq	-	Checkpoint 保存频率（按步数）
trainer.logger	-	日志后端，可选 console/wandb/tensorboard

调优建议：设置合理的 save_freq（如每 1000 步保存一次），避免频繁 I/O；使用 wandb 或 tensorboard 进行训练过程可视化。

---

12. 自定义奖励函数：扩展奖励机制灵活性

参数	配置方式	性能 / 显存影响	说明
custom_reward_function.path / name	-	自定义奖励函数的文件路径和名称

调优建议：通过自定义奖励函数实现业务逻辑融合，如合规性、事实一致性、流畅性等，提升对齐质量。

---

总结

本指南系统梳理了 SGLang 与 VeRL 框架下大模型训练的核心配置项，涵盖批次控制、显存管理、生成策略、并行优化与算法调参等多个维度。通过合理配置，可在有限硬件资源下实现高效、稳定、可扩展的强化学习训练流程。建议开发者根据模型规模、数据特征与硬件条件，结合本文调优建议，进行分阶段参数调优，逐步逼近最优训练性能。