如果大型语言模型 （LLM） 能够被训练以列出它们在尝试找到解决方案时所采取的步骤，那么它们往往更擅长解决问题。这种“推理”类似于人类处理更复杂问题的方式，但它给人工智能带来了重大挑战，需要人工干预来添加标签和注释。在本周的期刊中，DeepSeek 的研究人员揭示了他们如何训练模型不仅以这种方式进行推理，而且以最少的人工输入进行推理。模型 DeepSeek-R1 是使用强化学习进行训练的，其中模型在正确解决数学问题时获得高分奖励，当答案错误时受到惩罚。因此，它了解到推理——逐步解决问题并揭示这些步骤——更有可能得出正确答案。这导致 DeepSeek-R1 进行自我验证和自我反思，在回答新问题之前检查其性能，从而提高其在编码和研究生水平科学问题中的表现。

让机器像人类一样进行通用推理，一直是 AI 领域的核心难题。最近的突破，以大型语言模型 （LLM） 为例和思维链 （CoT） 提示，在基础推理任务上取得了相当大的成功。然而，这一成功在很大程度上取决于广泛的人工注释演示，而模型的能力仍然不足以解决更复杂的问题。
DeepSeek-R1 的重要意义在于，它证明了通过纯粹的 RL 即可激发 LLM 的推理能力，而无需依赖人工标注的推理过程（数据）。推理能力可以通过纯强化学习（RL）来激励，从而消除了对人类标记的推理轨迹的需求。
所提出的RL框架促进了高级推理模式的紧急发展，如自我反思、验证和动态策略适应。因此，经过训练的模型在数学、编码竞赛和 STEM 领域等可验证任务上取得了卓越的性能，超过了通过人类演示的传统监督学习训练的模型。
此外，这些大型模型所表现出的涌现推理模式可以系统地用于指导和增强小型模型的推理能力。DeepSeek-R1 推出后，得到了全球开发者的广泛好评，截至发文前，其在 GitHub 上的 star 数已经达到了 91.1k。