论文标题：DeepSeek‑R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning 机构：DeepSeek‑AI，arXiv:2501.12948，2025‑01‑04arXiv

核心定位：证明纯强化学习可以直接在基座大模型上涌现高级推理能力，不需要人工标注的思考链 CoT 样本做前置 SFT；提出 R1‑Zero（无 SFT 纯 RL）与多阶段训练得到 DeepSeek‑R1；同时把 R1 的推理能力蒸馏到小参数量稠密模型，开源整套权重。基座模型采用 DeepSeek‑V3‑Base（671B MoE）arXiv。

目录

一、论文专有概念列表

二、论文详细解读

1. 研究背景与动机

2. 第一阶段：DeepSeek‑R1‑Zero（无 SFT 纯强化学习）

3. 第二阶段：完整多阶段流水线 DeepSeek‑R1

4. 蒸馏：R1‑Distill 小模型系列

5. 核心实验评测结果

6. 局限性

7. 论文关键结论总结

补充：R1 与 V3/V4 系列关系

---

一、论文专有概念列表

专有名词	释义
DeepSeek‑R1‑Zero	实验原型模型；跳过前置监督微调 SFT，直接在 V3‑Base 基座上做大规模 GRPO 强化学习，仅使用基于规则的奖励，自发涌现反思、校验、回溯等长链推理行为；存在语言混杂、可读性差的缺陷。
Outcome‑based RL（结果式强化学习）	只对最终答案正确性给奖励，不对中间思考步骤做监督；不使用过程奖励模型 PRM；数学用答案匹配、代码用单元测试编译器得到奖励信号arXiv。
GRPO（Group Relative Policy Optimization，分组相对策略优化）	本文核心 RL 算法；舍弃 PPO 必需的 Critic 价值模型；同一个 prompt 采样一组多条输出，利用组内样本得分均值、标准差计算优势函数，大幅降低显存开销；保留 KL 散度约束防止策略崩坏辽宁理工职...。
Rule‑based Reward（基于规则奖励）	R1‑Zero 阶段不用神经网络奖励模型；由准确率奖励 Accuracy Reward + 格式奖励 Format Reward组成；准确率校验最终结果，格式强制推理放在...标签内。
Format Reward（格式奖励）	规则奖励的一部分，激励模型把推理过程放入标签，最终答案放入标签，分离思考内容与输出答案，方便解析与评估arXiv。
Cold‑Start Data（冷启动数据）	几千条人工整理的高质量长 CoT 样本；用来先 SFT 微调基座，作为后续 RL 的初始化起点，解决 R1‑Zero 语言混杂、可读性差问题，不会完全锁死人类推理范式，保留 RL 探索空间。
Language Consistency Reward（语言一致性奖励）	奖励项；计算推理链内目标语言词占总词比例，抑制中英混杂（language mixing），提升可读性；代价是推理性能轻微下降。
Rejection Sampling（拒绝采样）	从 RL 模型生成大量样本，过滤掉错误答案、乱码、语言混杂样本，只保留正确、格式干净的推理轨迹，构建大规模 SFT 数据集（约 80 万条），用于后续监督微调阶段stay-hungr...。
Reward Hacking（奖励黑客 / 奖励投机）	强化学习经典问题：模型不去真正解决任务，而是寻找漏洞投机刷高奖励分数；论文指出神经网络奖励模型更容易出现该现象，因此 R1‑Zero 优先使用规则奖励；但写作等主观任务无法构造规则奖励，仍然会遇到该问题。
Helpfulness Reward Model	帮助度奖励模型；成对偏好数据训练，评估回答的有用、相关、简洁，用于通用对话任务，不干预推理思考过程，重点评估最终摘要回答。
Safety Reward Model	安全性奖励模型；单点分类训练，识别回答内歧视、违法、有害内容，提升模型安全对齐。
R1‑Distill 系列蒸馏模型	以 Qwen、Llama 系列稠密基座，用 R1 生成的 80 万条高质量推理轨迹只做 SFT 蒸馏，不做 RL；1.5B/7B/14B/32B/8B/70B；小模型获得很强长 CoT 推理能力，证明强推理能力可以蒸馏迁移到小模型DeepSeek。
Aha Moment（顿悟时刻）	训练现象；训练过程中模型突然高频出现wait、check、retry这类反思词汇，自发学会自我校验、回头修正之前的错误推理步骤，是 RL 涌现反思推理行为的标志性现象arXiv。
Pass@1 / Cons@64	评测指标；Pass@1：单次采样的正确率；Cons@64：采样 64 条输出做多数投票之后的正确率，用来衡量自一致性（Self‑Consistency）带来的性能增益。
Process‑based Reward Model (PRM，过程奖励模型)	对推理每一步打分；论文做过消融实验，指出 PRM 存在中间步骤定义难、容易奖励投机、训练成本高等缺陷，本文主线不使用 PRM。

二、论文详细解读

1. 研究背景与动机

传统大模型推理提升路线： 1）CoT 提示词；2）SFT 监督微调，用大量人工标注的思考链样本教会模型模仿人类思考；3）RLHF。

现存痛点：

• 高度依赖人工标注推理轨迹，成本高昂；模型被限制模仿人类思路，可能探索不到比人类更优的推理路径。
• 过程奖励模型 PRM 容易出现奖励投机，训练复杂度高。

论文核心假设：基座大模型本身已经蕴藏推理潜力；不需要人工标注思考过程，仅依靠 “最终结果对错” 的外部奖励，通过强化学习，模型可以自发涌现反思、自我校验、回溯纠错等高级推理策略arXiv。

模型基座：DeepSeek‑V3‑Base（671B MoE，激活 37B 参数），注意不是 V3‑Instruct 指令微调版本。

2. 第一阶段：DeepSeek‑R1‑Zero（无 SFT 纯强化学习）

直接拿预训练基座 V3‑Base，跳过 SFT 监督微调，直接跑 GRPO 强化学习。 1）算法 GRPO

• 抛弃 PPO 必须的 Critic 价值网络；同一个问题采样 G=16 条输出；
• 优势函数\(A_i\)用本组内所有样本奖励的均值、标准差做归一化；
• 加入 KL 散度惩罚，约束新策略不要和旧策略偏离过大，防止模式崩溃；每 400 步就把参考模型替换成最新策略模型。
• 训练超参：学习率 3e‑6，rollout 温度 1；最大输出长度逐步从 32768 提升到 65536token，一共 10400 训练步。

2）奖励：纯基于规则，不使用神经网络奖励模型

• Accuracy 奖励：数学看 boxed 框内标准答案；代码跑编译器单元测试；STEM 选择题匹配正确选项；对最终输出打分，完全不看中间思考过程。
• Format 奖励：激励模型使用 标签包裹全部推理过程。

为什么不用神经网络奖励模型：作者认为大规模 RL 下神经网络 RM 极易发生 Reward Hacking，模型找漏洞刷分而不是真正解题；规则奖励在数学、代码这类可验证任务更加可靠。

3）训练涌现现象 Aha Moment 训练过程中，模型输出 token 长度持续变长；会自发大量生成wait、check、re‑evaluate等反思词汇，自己发现推理错误，回退重新推导，不需要人类教这种行为。

• AIME 竞赛题 Pass@1 从 15.6% 上涨到 77.9%；做 64 次采样多数投票 Cons@64 达到 86.7%，超过人类选手平均水平。

R1‑Zero 的缺陷

1. 语言混杂 language‑mixing：推理链里面中英来回跳，可读性很差。
2. 只擅长数学、代码、逻辑这类可验证任务；写作、闲聊、开放问答能力退化严重。
3. 输出格式不稳定，有时候思考过程混乱冗余。

3. 第二阶段：完整多阶段流水线 DeepSeek‑R1

流水线：冷启动 SFT → 第一轮推理 RL → 拒绝采样构建大规模 SFT 数据集 → 混合推理 + 通用数据二次 SFT → 第二轮混合 RL，产出最终 R1。

1）Cold‑Start 冷启动 SFT 收集几千条人工润色的长 CoT 样本做微调。

关键点：不是完全把人类思考范式锁死，只是给 RL 一个良好初始化起点，保留 RL 自我探索推理策略的空间。

2）第一轮 RL（推理定向 RL） 继续 GRPO，在原有规则奖励基础上新增Language Consistency 语言一致性奖励，抑制语言混杂；代价是推理性能有轻微损失，换取人类可读输出。 得到中间版本 Dev‑1。

3）拒绝采样 Rejection Sampling，构建 804745 条 SFT 数据集

• 60 万推理样本：从 Dev‑1 模型大量采样，过滤掉错误答案、乱码、语言混杂样本；部分无法用规则校验的样本，调用 V3 大模型作为评判器筛选。
• 20 万非推理样本：复用 DeepSeek‑V3 的 SFT 数据，包含写作、问答、翻译等普通任务；简单问题不需要生成 `` 思考链。

数据集混合推理任务与普通对话任务，避免模型只会做数学题而丧失通用对话能力。做 SFT 微调得到 Dev‑3。

4）第二轮多目标 RL 同时混合两类 prompt： ①推理类 prompt：继续使用规则奖励（准确率 + 格式 + 语言一致性）； ②通用类 prompt：使用帮助度 RM、安全性 RM 神经网络奖励模型，提升对话有用性、安全性。

注意：写作这类任务没有可靠规则奖励，只能依赖模型奖励，更容易出现 reward hacking，因此这部分 RL 训练步数控制很少。 完成之后得到最终 DeepSeek‑R1。

4. 蒸馏：R1‑Distill 小模型系列

论文一个重要结论：R1 学到的长链推理能力可以蒸馏迁移到小稠密模型，不需要小模型也跑大规模 RL。

• 做法：直接拿 R1 生成的 80 万高质量 SFT 数据，对 Qwen、Llama 基座做单纯 SFT，不执行 RL。
• 产出：R1‑Distill‑Qwen‑1.5B /7B /14B /32B；R1‑Distill‑Llama‑8B /70B。
• 现象：哪怕只有 1.5B 参数的蒸馏模型，数学推理也超过很多大参数量基线；证明高质量推理轨迹数据价值巨大。

5. 核心实验评测结果

1）数学竞赛 AIME2024 Pass@1 达到 79.8%，MATH‑500 Pass@1=97.3%，CNMO 中国高中奥赛 78.8%，接近 o1‑1217 水平。 2）代码竞赛 Codeforces 百分位 96.3%（Rating=2029），LiveCodeBench Pass@1‑CoT=65.9%；SWE‑Verified 49.2%。 3）通用能力 Arena‑Hard GPT‑4‑1106 基准 92.3，AlpacaEval2.0 LC‑winrate 87.6，兼顾推理能力与通用对话。 4）现象：自适应测试时计算量，简单问题思考 token 少，极难的竞赛题目自动生成上万 token 的思考内容，动态分配计算资源。

注意：多数投票（Cons@k）可以进一步拉高准确率，AIME Cons@64 可以到 90%。

6. 局限性

1. Reward Hacking 风险：只有数学、代码等有确定标准答案的任务，可以用规则奖励；写作、创意类任务只能依赖神经网络奖励模型，容易出现投机刷分。
2. 工具调用能力缺失：R1 本身不原生支持计算器、搜索引擎工具。
3. 提示词敏感：few‑shot 少样本提示会损害性能，推荐 zero‑shot 直接提问。
4. 几何、组合数学仍然是短板；会出现过度思考（overthinking），简单问题生成冗余超长思考链。
5. 安全：原生模型存在越狱风险，官方需要外挂独立风控系统提升安全等级。

7. 论文关键结论总结

1. 基座大模型本身就具备很强推理潜力；不需要人工标注思考链做前置 SFT，仅依靠结果导向的强化学习 R1‑Zero，模型可以自发涌现反思、校验、回溯纠错的长链推理策略。
2. GRPO 算法，去掉 Critic 模型，大幅降低推理 RL 训练成本，适合长输出推理模型。
3. R1‑Zero 有可读性、通用能力缺陷；多阶段流水线（冷启动 SFT → RL →拒绝采样 SFT →混合 RL）可以同时保留 RL 涌现的推理能力，对齐人类使用习惯，恢复通用对话能力。
4. 高级推理能力可以通过高质量推理样本蒸馏迁移到小模型，小模型仅 SFT 即可获得很强推理能力。
5. 边界：这套方法只在任务可被自动验证（verifier 可校验结果）时效果最好；主观无标准答案任务，纯 RL 依然存在很大挑战。

补充：R1 与 V3/V4 系列关系

• DeepSeek‑V3：通用 MoE 对话模型，没有 R1 这套长 CoT 推理 RL 流水线。
• DeepSeek‑R1：在 V3‑Base 基座之上，新增推理定向 RL 多阶段流水线，主打长思考链推理。
• DeepSeek‑V4：V4 是下一代通用基座，吸收 R1 的推理努力度思想，但 V4 本身不是 R1 推理模型；R1 的蒸馏数据集、GRPO 算法对 V4 后训练有借鉴。