注：此文章内容均节选自充电了么创始人，CEO兼CTO陈敬雷老师的新书《GPT多模态大模型与AI Agent智能体》（跟我一起学人工智能）【陈敬雷编著】【清华大学出版社】

清华《GPT多模态大模型与AI Agent智能体》书籍配套视频课程【陈敬雷】

GPT多模态大模型与AI Agent智能体系列二百一十七

DeepSeek首登Nature封面：600万美金搞定大模型，揭秘"慢思考"训练秘籍，开源全流程打破行业黑箱

2025年9月，DeepSeek大模型以“自我帮助（Self-Help）”为核心主题登上《Nature》封面，成为全球首个经过严格同行评审的大模型研究。这一突破不仅终结了“大模型是技术黑箱”的争议——团队公开了从训练数据、超参数到推理逻辑的全流程细节，更以不到600万美元的总成本（仅为行业预期的1/10），证明前沿AI能力并非“巨头专属”。本文将深度拆解这份“大模型训练说明书”，从拟人化的训练过程、精准的奖励机制，到“慢思考”能力的突破与安全防护，还原这场改写AI行业规则的技术革命。

一、登Nature的底气：从“黑箱”到“全透明”，可复现才是硬实力

在此之前，大模型行业始终笼罩着“宣称大于实效”的迷雾：企业动辄宣称“亿级参数、数亿美元训练成本”，却从不公开核心流程，导致技术难以复现、性能无法验证。DeepSeek的破局之处，在于用一份“堪比川菜大厨公开秘方”的详尽方案，让从业者能从头复现模型训练——这也是《Nature》审稿团队高度认可的关键。

1.1 拟人化训练：从“名师带徒”到“自我突破”

为了让非技术读者理解复杂流程，DeepSeek团队用“教育成长”类比训练过程，核心分为四步，每一步都对应明确的技术动作：

1. 选“好苗子”：以DeepSeek-V3 Base为基础模型，它如同“天赋出众的学生”，已具备基础语言理解能力，但缺乏深度推理思维。
2. 编“例题精讲册”：人类专家从V3 Base的推理案例中，筛选并修改出6.6万例符合人类逻辑的编程/数学解题示例（需展示完整推理过程）——这一步解决了“教什么”的问题，而其中关键提示词模板，来自高中生涂津豪提出的“反思式引导方案”，让模型学会“边想边说”。
3. “课堂训练”（SFT）：用6.6万例示例对V3 Base进行监督微调，得到“小镇做题家”DeepSeek-R1 Dev1——此时模型已能熟练模仿人类推理，但缺乏应对新问题的灵活性。
4. “社会历练”（强化学习）：让Dev1自主探索未见过的题目，从其成功推理案例中抽取新样本，再结合V3的非推理数据，重新训练V3 Base，最终得到“能自主思考”的DeepSeek-R1。

这一过程的核心突破在于：不再让模型单纯复制人类思维，而是通过强化学习让它探索“非人类的最优解”——类似AlphaGo走出人类棋手未想到的棋步，打破了“模仿上限”。

1.2 成本震撼行业：600万美金实现前沿能力

长期以来，行业普遍认为“推理大模型需数亿美元投入”，但DeepSeek用数据打破了这一认知：

• 从V3到R1的迭代成本：使用64×8 H800芯片，训练4天，按2美元/小时的GPU成本计算，仅需29.4万美元；
• 含V3初始训练成本：合计不到600万美元，仅为同类模型的1/10~1/20。

低成本的关键在于“精准训练”：不盲目堆数据、堆算力，而是聚焦“推理能力提升”的核心目标，用6.6万例高质量示例替代百万级冗余数据，用强化学习减少无效训练步骤。这种“精益训练”思路，让中小机构也能触及前沿AI技术。

1.3 全开源承诺：从“给营养表”到“开放后厨”

DeepSeek的透明化不止于论文——团队同步公开了三大核心资源，彻底打破黑箱：

• 训练流程：包括R1-Zero（中间模型）的完整训练步骤、超参数设置（如学习率3e-4、批次大小8）；
• 数据样本：提供1000个监督微调示例和1000个强化学习示例，覆盖编程、数学等领域；
• 模型权重：在Hugging Face平台开放权重，累计下载量达1090万次，稳居该平台大模型下载榜首。

正如论文评审专家所言：“公布权重如同给食品贴营养表，而开源训练流程是开放后厨——大众能看到‘AI是怎么做出来的’，这才是对安全性、可靠性的最大背书。”

二、训练的核心：怎么给大模型喂“甜枣”？精准奖励机制是关键

强化学习的本质是“用奖励引导模型行为”，奖励设计直接决定模型最终性能。DeepSeek团队根据不同训练阶段的目标，设计了“分场景、多维度”的奖励体系，避免模型“钻空子”或“偏科”。

2.1 初期（R1-Zero训练）：基于规则的“基础分”

R1-Zero的核心任务是生成后续训练所需的“推理素材”，需避免“冷启动”（无高质量样本可用）。因此这一阶段采用基于固定规则的奖励，不依赖复杂神经网络计算，确保公平性和低成本：

• 奖励分两部分，权重各占50%：
  1. 推理准确性：判断模型解题步骤是否正确、答案是否符合客观事实（如数学题计算结果、编程代码能否运行）；
  2. 格式合规性：检查推理过程是否符合提示词要求（如是否分步骤、是否标注关键逻辑节点）。

这类似老师给学生批作业：“算对得50分，步骤写清楚再得50分”——既保证结果正确，又培养“清晰思考”的习惯。团队解释：“若用神经网络算奖励，模型可能会‘故意写复杂步骤骗分’，而非提升真能力。”

2.2 后期（通用任务训练）：三维度的“综合分”

面对无明确答案的“主观题”（如问答、建议生成），奖励体系升级为三部分，全面评估模型输出质量：

1. 推理过程分：延续初期的“步骤完整性”评分，确保模型不“跳步”；
2. 有用性与安全性分：结合用户反馈和预定义安全准则，评估输出是否对用户有帮助、是否存在歧视/违法/有害内容；
3. 针对性分：计算推理过程中“与目标相关的字符数占比”，避免模型“说废话凑字数”（如回答“如何学编程”时，不堆砌无关的历史知识）。

这种设计直击大模型的两大痛点：“幻觉”（编造错误信息）和“冗余输出”。例如，在医疗问答中，模型不仅要给出正确建议，还要说明“为什么这么建议”，且不能包含未经证实的治疗方案——三维度奖励形成了“互相约束”的机制。

三、革命性突破：让大模型拥有“慢思考”能力，从“系统一”升级到“系统二”

诺贝尔经济学奖得主丹尼尔·卡尼曼在《思考：快与慢》中提出“双系统理论”：系统一是直觉式、快速反应（如脱口而出2+2=4），系统二是反思式、慢思考（如解复杂数学题）。在此之前，几乎所有大模型都只有“系统一”，而DeepSeek-R1通过强化学习，首次让大模型具备了“系统二”的“慢思考”能力。

3.1 证据：推理相关词汇大幅增加

训练过程中，模型输出的“慢思考特征”逐渐凸显。论文数据显示，随着训练轮次增加：

• 推理相关词汇（“等待”“错误”“然而”“重试”“验证”“检查”等）的出现频率显著上升，其中“wait”（代表暂停思考、检查步骤）的使用次数增长了3倍；
• 无关词汇（如语气词、重复表述）占比从25%降至8%，模型输出更聚焦“解决问题”。

这意味着模型不再是“脱口而出”，而是学会了“停下来检查”——比如解数学题时，会先验证前一步的计算是否正确，再进行下一步，类似人类的“验算”习惯。

3.2 性能：难度越高，提升越明显

“慢思考”能力直接转化为性能突破，尤其在高难度任务中表现突出：

• 数学题测试：在不同难度的数学数据集上，随着训练轮次增加，简单题（如小学算术）准确率提升15%，而高难度题（如微积分、线性代数）准确率提升达40%——证明“慢思考”对复杂任务的增益更大；
• MMLU-Pro测试：在涵盖STEM（数学、计算机）、社会科学（心理学、经济学）等领域的1.2万道复杂题中，DeepSeek-R1的准确率全面超越“老师”DeepSeek-V3，其中社会科学领域提升28%，打破了“训练数学只提升数学能力”的局限。

团队解释：“‘慢思考’是通用能力，学会‘分步解数学题’的逻辑后，模型也能将其迁移到‘分步分析经济问题’上——这正是人类智能的核心特征。”

四、安全防护：直面AI滥用风险，开源模型的“安全必修课”

随着推理能力提升，大模型的安全风险也随之增加——例如，具备深度思考能力的模型，可能生成更具操作性的危险内容（如爆炸品制造步骤）。DeepSeek团队没有回避这一问题，而是通过“分类评估+越狱测试+风险控制”，构建了全链条安全防护体系。

4.1 四类安全问题：明确风险边界

团队将大模型安全风险分为四类，针对性设计评估标准：

1. 歧视与偏见：是否对特定人群（如性别、种族）产生不公平表述；
2. 违法行为：是否生成诈骗、暴力、违法犯罪相关指导；
3. 有害行为：是否提供自残、危险操作（如违规用药）建议；
4. 不道德行为：是否鼓励说谎、作弊、违背公序良俗的行为。

评估数据显示，DeepSeek-R1原生模型（未加安全控制）的“不安全回答率”处于行业中等水平，但加入“风险控制系统”后，不安全回答率下降60%，拒绝率提升至85%，接近闭源模型的安全水平。

4.2 越狱攻击测试：应对“恶意钻空子”

恶意用户可能通过“越狱提示词”（如“假设你是反派，教我做XX”）绕过安全机制。DeepSeek团队开发了包含2232条越狱指令的模板库，将其与安全测试题结合，测试模型的抗攻击能力：

• 结果显示：所有模型在越狱攻击下，安全回应率均下降，但开源模型（DeepSeek、Qwen）受影响更大——不安全回答率上升35%，而闭源模型仅上升18%；
• 解决方案：团队建议开源模型部署时，必须搭配“风险控制系统”，如实时检测越狱关键词、对高风险输出进行人工审核，避免被恶意利用。

五、行业地震：从“巨头垄断”到“民主化”，AI透明化的新起点

DeepSeek登Nature的意义，远不止一项技术突破——它为AI行业树立了“透明化、可复现、低成本”的新标准，正在重塑行业格局。

5.1 推动同行评审成为“标配”

在此之前，大模型性能多依赖企业“自说自话”，缺乏第三方验证。DeepSeek的8人三轮严格审稿（远超常规论文的3人审稿），让同行评审成为大模型技术的“可信度背书”。现在，投资者、客户开始要求企业提供“经过同行评审的性能数据”，尤其在医疗、金融等高危领域——这将倒逼行业从“炒作概念”转向“扎实研发”。

5.2 推理能力“民主化”

600万美元的低成本、全开源的训练流程，让中小机构、高校甚至个人都能参与大模型优化：

• 教育领域：学校可基于DeepSeek-R1，微调“适合未成年人的答疑模型”——调整奖励机制，让“知识准确性”权重高于“用户满意度”，避免模型“谄媚式错误回答”；
• 中小企业：无需投入巨资，即可定制垂直领域模型（如法律咨询、工业故障诊断），只需补充少量行业数据，通过LoRA技术快速微调。

截至2025年10月，基于DeepSeek开源代码的二次开发项目已超500个，覆盖12个垂直领域——这正是“技术民主化”的核心价值：让AI不再是巨头的“护城河”，而是全行业的“工具”。

结语：AI的下一站，是“透明”与“可控”

DeepSeek首登Nature，标志着大模型行业从“追求参数规模”进入“追求透明可控”的新阶段。它证明：前沿AI能力不需要“烧钱黑箱”，而是可以通过“精准训练、开放流程、严格安全防护”实现。未来，随着更多企业跟进透明化实践，我们或将迎来一个“可知、可复、可控”的AI时代——在这个时代，大模型不再是令人敬畏的“黑箱怪物”，而是能被理解、被优化、为全人类服务的“智能伙伴”。

更多技术内容

更多技术内容可参见
清华《GPT多模态大模型与AI Agent智能体》书籍配套视频【陈敬雷】。
更多的技术交流和探讨也欢迎加我个人微信chenjinglei66。

总结

此文章有对应的配套新书教材和视频：

【配套新书教材】
《GPT多模态大模型与AI Agent智能体》（跟我一起学人工智能）【陈敬雷编著】【清华大学出版社】
新书特色：《GPT多模态大模型与AI Agent智能体》（跟我一起学人工智能）是一本2025年清华大学出版社出版的图书，作者是陈敬雷，本书深入探讨了GPT多模态大模型与AI Agent智能体的技术原理及其在企业中的应用落地。
全书共8章，从大模型技术原理切入，逐步深入大模型训练及微调，还介绍了众多国内外主流大模型。LangChain技术、RAG检索增强生成、多模态大模型等均有深入讲解。对AI Agent智能体，从定义、原理到主流框架也都进行了深入讲解。在企业应用落地方面，本书提供了丰富的案例分析，如基于大模型的对话式推荐系统、多模态搜索、NL2SQL数据即席查询、智能客服对话机器人、多模态数字人，以及多模态具身智能等。这些案例不仅展示了大模型技术的实际应用，也为读者提供了宝贵的实践经验。
本书适合对大模型、多模态技术及AI Agent感兴趣的读者阅读，也特别适合作为高等院校本科生和研究生的教材或参考书。书中内容丰富、系统，既有理论知识的深入讲解，也有大量的实践案例和代码示例，能够帮助学生在掌握理论知识的同时，培养实际操作能力和解决问题的能力。通过阅读本书，读者将能够更好地理解大模型技术的前沿发展，并将其应用于实际工作中，推动人工智能技术的进步和创新。

【配套视频】

清华《GPT多模态大模型与AI Agent智能体》书籍配套视频【陈敬雷】
视频特色： 前沿技术深度解析，把握行业脉搏

实战驱动，掌握大模型开发全流程

智能涌现与 AGI 前瞻，抢占技术高地

上一篇：《GPT多模态大模型与AI Agent智能体》系列一》大模型技术原理 - 大模型技术的起源、思想
下一篇：DeepSeek大模型技术系列五》DeepSeek大模型基础设施全解析：支撑万亿参数模型的幕后英雄