---

强化学习第六篇：大模型 RLHF（PPO）的问题与主流解决路径

——机制层与工程层的系统性分析

本文讨论的是：当强化学习（尤其是 PPO）用于大规模语言模型时，实际会遇到哪些结构性问题，以及 OpenAI、Anthropic 等头部机构如何在工程层面规避这些问题。

---

一、RLHF 在大模型中的主要问题

以下问题均来自模型结构本身、奖励形式、序列依赖和训练流程的交互，不是参数调得不好，而是系统性限制。

---

1. 奖励信号稀疏且分辨率低

在语言模型中：

• reward 通常是句子级、段落级或基于偏好对比
• 奖励无法提供 token-level 的精确信息
• 信号噪声大，偏置强

导致：

$$R_t\to \text{credit assignment 不明确}$$

优势函数（GAE）依赖奖励与价值估计的差：

$$A_t={\delta }_t+(\gamma \lambda ){\delta }_{t+1}+\dots$$

当奖励质量差或分辨率低时，整个优势链路噪声放大。

---

2. Transformer 序列生成不是 MDP，PPO 的理论假设不成立

PPO 假设：

• 有外部环境
• 每一步状态由环境确定
• 动作独立可控

语言模型的实际情况：

• 状态 = 内部隐藏表示，不可观测
• 行动 = token，自回归依赖全部历史
• 环境 = 模型自身，不是外部世界
• 序列相关性长，非马尔可夫

因此：

$$P(s_{t+1}|s_t,a_t)\text{在 LLM 中不可定义}$$

PPO 的理论稳定性条件不具备，训练不可避免产生分布漂移。

---

3. PPO 的策略更新对高维语言模型过于“强”

语言模型参数规模为：

• 7B、30B、70B、200B、400B 等级

PPO 对概率分布的更新为：

$${\theta }_{k+1}={\theta }_k+\alpha {\nabla }_{\theta }{L}^{PPO}$$

即便更新步长很小，也会由于高维空间的耦合影响：

• 全局生成分布
• 风格、语气
• 推理链路
• 事实性倾向

这造成了 RLHF 中常见的：

• 模型啰嗦
• 模型过度迎合
• 推理能力下降
• 风格突变

根因是高维结构对局部扰动极度敏感。

---

4. KL 约束无法稳定控制策略漂移

KL penalty 试图约束策略不偏离 SFT distribution：

$$r_t(\theta )=\frac{{\pi }_{\theta }(a_t|s_t)}{{\pi }_{{\theta }_{\text{old}}}(a_t|s_t)}$$

但：

• KL 过小 → 模型漂移、能力损坏
• KL 过大 → 几乎不更新
• KL 固定值在整个训练过程不适用
• KL 与奖励、GAE 噪声耦合，行为不稳定

PPO 原本的 clipping 机制无法在 LLM 中有效约束漂移。

---

5. Critic（价值网络）难以拟合，优势估计噪声大

价值网络训练目标：

$$V(s_t)\approx \mathbb{E}[R_t]$$

但由于：

• 奖励稀疏
• long-horizon 信号传播问题
• 序列长度长
• 状态不可观测
• reward-delay 明显

Critic 误差大、偏差强，导致：

$$A_t=R_t-V(s_t)$$

变成高噪声量。

优势噪声直接导致 PPO 更新方向不稳定。

---

6. 整个 RLHF 流程成本高、迭代慢、可控性弱

PPO 每次更新需要：

• rollout 采样
• reward model 推理
• value function 更新
• PPO 多轮优化
• 再采样、再迭代

成本高且反馈慢，使得实际工程中对训练过程的监控不够细致，进一步削弱稳定性。

---

二、OpenAI / Anthropic / DeepMind 的主要解决方案（工程实用主义）

关键点不是“改进 PPO 本身”，而是弱化 PPO 对模型的影响，并通过系统工程控制风险。

---

1. 大幅降低 PPO 的权重：RLHF 退为最后 1–3% 的修正

在 GPT-4、GPT-4.1、GPT-5 中：

• SFT：占绝大部分能力
• 大规模偏好数据（包括 RLAIF）决定模型行为
• PPO 只用于高风险问题的“轻量修正”

其哲学是：

能力来自预训练 + SFT；对齐来自偏好学习；PPO 仅作为最小化干预。

PPO 的作用被显著降级，稳定性问题自然减少。

---

2. 奖励模型从“单头分类器”升级为“多头、多尺度、结构化奖赏”

OpenAI 的 RM 演进方向包括：

• 多头 reward（逻辑、事实、安全、任务完成度等）
• 多尺度 reward（token、片段、序列）
• 结构化 reward（链路一致性）
• 使用大模型（GPT-4）来替代人工标注（RLAIF）

奖励质量提升会直接降低优势噪声，提高 PPO 稳定性。

---

3. 使用动态 KL 控制，而不是固定 KL 或手动调节

OpenAI 引入了与控制系统类似的自适应机制：

• 根据策略漂移实时调节 KL penalty
• 根据 reward model 输出分布稳定性进行动态调整
• 当生成分布偏离显著时提升 KL

此做法接近于“动态约束优化”，显著降低崩坏风险。

---

4. 冻结大部分模型层，只在高层 block 中应用 PPO

因为下层 Transformer block 负责：

• 语义表征
• 事实知识
• 推理结构

因此 PPO 更新仅作用于：

• 输出层附近
• 若干顶层 block
• LoRA 或 Adapter 模块

避免对整个模型分布造成大幅干扰。

---

5. 用海量 SFT 和偏好数据来“稳定模型基态”

OpenAI、Anthropic 的 pipeline 是：

1. 大规模 SFT 建立 baseline distribution
2. 大规模偏好数据（pairwise + RLAIF）建立 preference landscape
3. 只有在此之后才执行 PPO

基态越稳定，PPO 的边际破坏越小。

---

6. 多行为头（Multi-Head Behavior Control）隔离 RL 的风险

GPT-4、Anthropic Claude 使用多个“行为头”：

• 推理
• 问答
• 安全
• 创造任务
• 角色扮演等

PPO 的更新只影响其中一部分，避免影响其他能力。

---

7. 引入自动化评估闭环（AutoEval）监控 PPO 的影响

训练期间持续检测：

• 幻觉率
• 连贯性
• 任务完成度
• 有害输出
• 风格稳定性

一旦出现异常：

• 动态增大 KL
• 降低学习率
• 回滚到上一版本
• 调整奖励模型

PPO 与评估体系形成闭环。

---

三、RLHF 的演化路径：从 PPO 到 DPO / ORPO 再到世界模型

行业趋势非常明确：

---

1. 从 PPO → DPO / ORPO（无 critic、无 KL、不依赖优势函数）

DPO 本质上是偏好学习的直接优化：

$$L^{DPO}=-\log \sigma (r(x_{\text{chosen}})-r(x_{\text{rejected}}))$$

优点：

• 无 critic
• 无 advantage
• 不需要环境 rollouts
• 训练稳定性高
• 成本低

OpenAI、Anthropic 正在减少 PPO 的使用比例。

---

2. 奖励模型向结构化世界模型演进

当前 RM 基于分类器或偏好。
下一代 RM 将具备：

• 推理链建模
• 世界一致性建模
• 跨句逻辑验证

这是提升对齐能力的关键方向。

---

3. 引入内部价值模型（Value-guided LM）

未来的 LLM 会内置：

• 内在价值体系
• 目标建模（Goal-conditioned LM）
• 推理策略建模

这是 RLHF 的长期目标。

---

四、总结（技术层面）

RLHF（尤其 PPO）在大模型中不稳定的根因：

1. 奖励稀疏、偏置大
2. Advantage 高噪声
3. Transformer 不是 MDP，PPO 理论基础失效
4. 高维参数空间对更新极敏感
5. KL 无法在整训程中稳定约束分布漂移
6. Critic 难以收敛
7. 训练成本极高，反馈滞后

OpenAI/Anthropic 的解决思路本质是：

1. 弱化 PPO（降低其影响边界）
2. 强化奖励模型质量（多头、多尺度、RLAIF）
3. 动态 KL 控制（自适应约束）
4. 局部更新模型（冻结多数参数）
5. 大量 SFT + 偏好数据稳定模型基态
6. 多策略头隔离 RL 的副作用
7. 自动化评估闭环提高可控性

重点在于：
不是让 PPO 更强，而是让 PPO 更不容易破坏模型。

---