DeepSeek-R1-Zero 是一款通过大规模强化学习（RL）训练而成的模型，未经过监督微调（SFT）作为前置步骤，却展现出了卓越的推理能力。在强化学习的训练过程中，该模型自然地发展出许多强大且有趣的推理行为。然而，DeepSeek-R1-Zero 也存在一些问题，例如无休止的重复、可读性差以及语言混合等。为了解决这些问题并进一步提升模型的推理性能，我们推出了 DeepSeek-R1，该模型在