当我们用大模型写邮件时，它能精准捕捉语气的正式与亲和；当我们让它讲睡前故事时，它会自动避开复杂情节、加入温暖细节——这些“懂人心”的表现，背后藏着大模型对齐人类偏好的核心技术逻辑。今天，我们就来拆解这个过程：大模型是如何从“能生成内容”一步步进化到“能生成人类更偏好的内容”的？

为什么“人类偏好”对大模型很重要？

先想一个问题：如果大模型生成的内容“语法正确但毫无用处”，比如问“如何煮奶茶”，它却输出“奶茶是液体”，这样的模型显然没有价值。人类偏好本质上是“对内容的质量、相关性、安全性、风格等维度的隐性期望”——它可能是“回答要简洁”“故事要温暖”“代码要可运行”，甚至是“拒绝恶意指令”。

大模型的核心目标之一，就是将这些模糊的“偏好”转化为可学习的规律，最终实现“用户想说的，它刚好能做到”。这个过程主要分为三个关键阶段：打基础、定标准、练策略。

阶段一：监督微调（SFT）—— 先学会“基本规则”

大模型的“学前教育”，始于监督微调（Supervised Fine-Tuning）。这一步的目标很简单：让模型先理解“人类指令是什么意思”，并能生成“至少合规”的输出。

具体怎么做？

1. 构建“优质范例库”：人类专家会设计大量指令（比如“解释量子计算”“写一份请假条”“翻译一句日语”），并为每个指令手动撰写“符合偏好的标准答案”。这些“指令-输出对”就像老师给学生的“例题集”，涵盖日常对话、专业知识、创作等多种场景。

2. 用范例“微调”基础模型：基础大模型（比如GPT-3的预训练模型）在海量文本中学会了语言规律，但对“指令响应”并不敏感。通过将“例题集”输入模型，调整模型参数，让它学习“看到指令A，就输出类似范例B的内容”。

这一步能解决什么问题？

经过SFT，模型能从“只会预测下一个词”升级为“能理解指令意图”。比如问“推荐一本入门级科幻小说”，它不会乱答“今天天气很好”，而是会输出“《三体》是不错的选择，它以…”——这是“合规输出”的基础，但还不够。

局限在哪里？

SFT本质是“模仿范例”，但人类偏好是灵活的：同个指令（比如“写一首关于春天的诗”），有人喜欢押韵的短句，有人喜欢意象丰富的长句。仅靠固定范例，模型无法判断“哪种更符合当前用户的偏好”，更谈不上主动优化。

阶段二：奖励模型（RM）—— 给“偏好”定个“分数”

要让模型知道“什么是更好的”，首先需要一个能“量化人类偏好”的工具——这就是奖励模型（Reward Model） 的作用。它像一位“裁判”，能给模型的输出打分：分数越高，越符合人类偏好。

如何训练这个“裁判”？

1. 生成“候选答案池”：用经过SFT的模型，对同一指令生成多个不同的输出。比如对“如何缓解焦虑”，模型可能生成A（“深呼吸+运动”）、B（“听音乐+冥想”）、C（“不要想太多”）三个回答。

2. 人类给候选答案“排序”：让标注员对这些输出进行“偏好排序”（比如B>A>C），或直接打分（比如B得9分，A得7分，C得3分）。这些排序/分数数据，本质是将“模糊的偏好”转化为“明确的标注”。

3. 训练奖励模型：用这些“输出-分数”数据训练RM。RM的输入是“指令+模型输出”，输出是一个“偏好分数”。通过学习，RM会逐渐掌握人类判断的规律：比如“具体建议比空话分数高”“积极引导比消极回避分数高”。

关键价值：从“定性”到“定量”

有了RM，大模型的输出质量就有了可衡量的标准。即使面对没见过的指令，RM也能基于学习到的规律，给出相对合理的分数——这为后续的“主动优化”提供了基础。

阶段三：强化学习（RLHF）—— 让模型主动“追高分”

如果说SFT是“模仿做题”，RM是“制定评分标准”，那么基于人类反馈的强化学习（RLHF，Reinforcement Learning from Human Feedback） 就是“让模型通过练习，学会考高分”。

核心逻辑：用“奖励”驱动优化

1. 生成-评分循环：给模型一个新指令（比如“写一段猫咪的可爱描写”），让它生成一个输出；将输出输入RM，得到一个“偏好分数”（比如8分）。

2. 用强化学习更新模型：通过PPO（Proximal Policy Optimization，一种常用的强化学习算法）等方法，让模型“记住”：生成“能得高分”的输出时，相关参数需要调整；生成“低分”输出时，参数要往相反方向修正。

3. 迭代优化：重复“生成-评分-更新”的过程，模型会逐渐掌握“如何调整用词、结构、风格”来提升RM评分——本质上，就是学会了“主动生成更符合人类偏好的内容”。

从“被动模仿”到“主动进化”

RLHF的魔力在于，它让模型跳出了“只能复制范例”的局限。即使面对从未见过的指令，模型也能基于对“高分规律”的理解，创造出符合偏好的新内容。比如面对“用程序员的语气写生日祝福”，它会自动加入“bug-free”“上线顺利”等行业梗——这正是人类偏好的灵活体现。

总结：从技术到“懂你”的本质

大模型对齐人类偏好的过程，本质是一场“人类智慧”向“模型参数”的转化：

• 监督微调（SFT）用人工范例给模型“启蒙”，让它知道“基本玩法”；
• 奖励模型（RM）用标注数据给模型“立规矩”，让它知道“好与坏的标准”；
• 强化学习（RLHF）用反馈循环让模型“勤练习”，让它学会“如何做到更好”。

当然，这个过程仍有挑战：比如人工标注成本高、RM可能学到人类的偏见、复杂场景下偏好难以量化等。但正是这些技术的迭代，让大模型从“能说话”一步步走向“会说话”，最终成为更懂人类的工具。

下一次当你惊叹于大模型“说到心坎里”时，或许能想起：这背后，是无数标注数据的积累、 reward model的精准打分，和强化学习的持续优化呀。