ChatGPT 的成功有两大支柱：一是使用 RLHF（Reinforcement Learning from Human Feedback，基于人类反馈的强化学习）进行微调，显著提升了模型的实用性和安全性；而 RLHF 的核心算法正是 PPO——它负责从人类反馈中学习，帮助模型对齐人类偏好。RLHF 为什么选择 PPO？PPO 的特性非常适合 RLHF 场景：策略裁剪防止过度更新，训练稳定性好；实