特性维度PPODPOGRPOGSPO核心思想限制策略更新幅度，稳定训练直接从偏好数据中学习，无需奖励模型移除价值网络，使用组内相对奖励计算优势序列级优化，解决 GRPO 的不稳定性优化目标最大化（被裁剪的）优势函数直接匹配人类偏好概率最大化组内相对优势最大化序列级组内相对优势模型需求策略、价值、奖励、参考模型策略、参考模型策略、参考模型、奖励函数策略、参考模型、奖励函数数据依赖需要奖励模型评分数据

让模型学会说话（懂语法、有知识）。让模型学会听话（懂指令、懂格式）。没有SFT，直接上RL通常会失败，因为模型如果连话都说不通顺，根本无法探索出高分答案。SFT 提供了 RL 的“冷启动”基础。让模型变得更聪明、更安全、更符合人类喜好。它是在 SFT 的基础上进行“抛光”和“提纯”。一句话总结区别：SFT 决定了模型“能不能”回答问题（可用性），RL 决定了模型回答得“好不好”（好用性/对齐）。

RLHF 通过“扼杀可能性”（降低多样性），将模型强行收敛到一种“最稳妥、最普适”的回答范式上。这种范式虽然无聊（多样性低），但因为它极其稳健，所以能应付各种没见过的怪问题（OOD泛化强）。我们得到了一个更听话、更鲁棒的助手，但失去了一个甚至可能更有趣的灵魂。针对“对齐税”（Alignment Tax）导致的多样性（Diversity）丧失问题，学术界和工业界目前并没有一个“彻底根除”的魔法，但有

RLHF 通过“扼杀可能性”（降低多样性），将模型强行收敛到一种“最稳妥、最普适”的回答范式上。这种范式虽然无聊（多样性低），但因为它极其稳健，所以能应付各种没见过的怪问题（OOD泛化强）。我们得到了一个更听话、更鲁棒的助手，但失去了一个甚至可能更有趣的灵魂。针对“对齐税”（Alignment Tax）导致的多样性（Diversity）丧失问题，学术界和工业界目前并没有一个“彻底根除”的魔法，但有