简介

文章解释了大模型训练中SFT和RLHF的区别与必要性。SFT教会模型"能做什么"，通过模仿人类范例获取基础知识，但存在成本高、覆盖面有限等局限。RLHF则教会模型"应该做什么"，通过人类反馈训练奖励模型，指导生成更符合人类期望的回答，解决了SFT的局限性，实现了目标对齐。SFT是基础，RLHF是真正的内核。

---

在大模型训练里面，SFT（有监督微调）还不够吗？为什么需要 RLHF（人类反馈强化学习）？今天写一篇文章来具体讲讲。

简单来说， SFT (Supervised Fine-Tuning, 有监督微调) 教会模型 “能做什么” ，即模仿人类范例来掌握知识和对话能力；而 RLHF (Reinforcement Learning from Human Feedback, 基于人类反馈的强化学习) 则教会模型 “应该做什么” ，即理解人类的偏好、价值观和细微差别，让它的回答更符合人类期望。

SFT 确实能让模型变得非常强大，但它有几个天生的局限性，这就使得 RLHF 成为必需品。

1. SFT：一个努力模仿高分答案的学生

SFT 的过程，就像是给一个预训练好的、知识渊博但不懂如何与人交流的模型（比如 GPT-3），喂食大量高质量的“问题-回答”对。

• 目标 ：学习模仿。模型的目标是，在给定一个问题（prompt）时，它生成的回答要尽可能地与人类专家给出的“标准答案”一模一样。

• 优点 ：效率高，能快速让模型学会按照特定格式进行对话、回答事实性问题、扮演角色等。这是模型能力的基础。

那么，为什么 SFT 不够？

1. “标准答案”的成本和局限性 ：

   • 成本极高 ：要为成千上万种可能的问题都写一个高质量的“标准答案”，成本是天文数字。

   • 质量难以保证 ：人类专家在撰写答案时，也可能有疏漏、偏见，甚至错误。

   • 覆盖面有限 ：你永远无法穷尽所有用户可能提出的问题。对于S-Tuning数据集中没有覆盖到的领域，模型的表现就会显著下降。

2. 目标函数（Objective）的错位 ：

   SFT 的优化目标是“最小化预测误差”，通俗讲就是“让模型预测的下一个词，和标准答案里的下一个词，概率上越接近越好”。

   但这和“一个好的回答”之间存在巨大鸿沟。一个回答可能在措辞上与标准答案略有不同，但实际上更幽默、更安全、或者更有帮助。SFT 无法理解这种 质量上的细微差别 ，它只会死板地认为“和标准答案不一样就是错的”。

3. 无法学习“偏好” ：

   SFT 教会模型什么是“对的”，但没教会它在“两个都对，但一个更好”的答案中如何选择。比如，对于“如何安慰一个失落的朋友？”，可以有无数种“对”的回答，但有些回答显然比另一些更体贴、更有效。SFT 对此无能为力。

4. RLHF：一个学会察言观色、追求高情商的学生

RLHF 的出现，正是为了解决 SFT 的上述问题。它不再强求模型生成一模一样的标准答案，而是让模型学会 理解人类的偏好 。

整个过程分为两步：

第一步：训练一个“品味导师”（Reward Model, 奖励模型）

1. 拿一个问题，让已经经过 SFT 的模型生成多个不同的回答（比如 A, B, C, D）。

2. 让人类来对这些回答进行排序，告诉系统他们认为哪个最好，哪个次之，哪个最差（例如：D > B > A > C）。

3. 用这些排序数据，训练出一个新的模型——奖励模型。这个模型的唯一工作就是给任何一个“问题-回答”对打分，分数高低代表了它预测人类会有多喜欢这个回答。它学会了人类的“品味”。

第二步：用“品味导师”来指导模型继续学习（Reinforcement Learning）

1. 让 SFT 模型像一个强化学习中的“智能体”（Agent），不断地针对新问题生成回答。

2. 生成的回答不再由人类来评判，而是直接交给已经训练好的“奖励模型”（品味导师）去打分。

3. 模型的目标，就是通过调整自己的参数，让自己生成的回答能够从奖励模型那里获得尽可能高的分数。

4. 同时，为了防止模型为了高分而“胡说八道”（即 reward hacking），会有一个惩罚项，确保它不会偏离 SFT 阶段学到的知识太远。

RLHF 解决了什么关键问题？

1. 数据成本更低，扩展性更强 ：让人类去“比较和排序”几个已有的答案，远比让人类“从头写一个完美答案”要容易和便宜得多。这使得获取大量对齐数据成为可能。

2. 对齐了“目标函数” ：优化的目标从“模仿范例”变成了“最大化人类偏好”。这使得模型努力的方向，从“变得更像”转向了“变得更好”。

3. 学会了细微差别（Nuance） ：通过学习海量的偏好数据，模型学会了什么是“有帮助的”、“无害的”和“真实的”。它学会了在多个可能的回答中，选择那个最符合人类价值观和期望的选项，变得更像一个高情商的助手。

所以 SFT 是基础，提供人类认知基本能力，RLHF 是对齐人类价值观，是真正的内核。

AI大模型学习路线

如果你对AI大模型入门感兴趣，那么你需要的话可以点击这里大模型重磅福利：入门进阶全套104G学习资源包免费分享！

这份完整版的大模型 AI 学习和面试资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

这是一份大模型从零基础到进阶的学习路线大纲全览，小伙伴们记得点个收藏！

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

100套AI大模型商业化落地方案

大模型全套视频教程

200本大模型PDF书籍

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

LLM面试题合集

大模型产品经理资源合集

大模型项目实战合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓