我们证明了，扩大语言模型的规模在任务无关的 few-shot 学习任务中极大提升了表现，有时甚至能与此前最先进的微调方法相竞争。具体来说，我们训练了 GPT-3，这是一种具有 1750 亿参数的自回归语言模型，其参数数量是此前任何非稀疏语言模型的 10 倍。我们在 few-shot 设置中对其性能进行了测试。对于所有任务，GPT-3 都是在没有任何梯度更新或微调的情况下使用的，其任务和 few-s

自然语言理解包括各种各样的任务，如文本蕴涵、问题回答、语义相似性评估和文档分类。尽管大量未标记的文本语料库丰富，但用于学习这些特定任务的标记数据很少，这使得判别训练模型难以充分执行。我们证明，通过在不同的未标记文本语料库上对语言模型进行生成式预训练，然后对每个特定任务进行判别性微调，可以实现这些任务的巨大收益。与以前的方法相反，我们在微调期间利用任务感知输入转换来实现有效的传输，同时需要对模型体系

在大型语言模型时代，专家混合（Mixture-of-Experts，MoE）是一种在扩大模型参数规模时管理计算成本的有前景架构。然而，传统的 MoE 架构（如 GShard）通常采用从NNN个专家中激活前KKK个（Top-KKK）的方式，但在实现专家专化方面面临挑战，也就是说，很难确保每个专家能够学习到互不重叠且专注的知识。为此，我们提出了面向终极专家专化的 DeepSeekMoE 架构。该架构包

我们提出了，一个开源的视觉-语言（Vision-Language, VL）模型，旨在支持真实世界中的视觉与语言理解应用。我们的研究方法围绕三个核心方向展开：首先，在数据构建方面，我们力求确保数据具备多样性、可扩展性，并能够充分覆盖真实场景，例如网页截图、PDF 文件、OCR 文本、图表以及知识型内容（包括专家知识与教材等），以实现对现实应用语境的全面表征。同时，我们基于真实用户使用场景建立了用例分

我们提出了，一个开源的视觉-语言（Vision-Language, VL）模型，旨在支持真实世界中的视觉与语言理解应用。我们的研究方法围绕三个核心方向展开：首先，在数据构建方面，我们力求确保数据具备多样性、可扩展性，并能够充分覆盖真实场景，例如网页截图、PDF 文件、OCR 文本、图表以及知识型内容（包括专家知识与教材等），以实现对现实应用语境的全面表征。同时，我们基于真实用户使用场景建立了用例分

在大型语言模型时代，专家混合（Mixture-of-Experts，MoE）是一种在扩大模型参数规模时管理计算成本的有前景架构。然而，传统的 MoE 架构（如 GShard）通常采用从NNN个专家中激活前KKK个（Top-KKK）的方式，但在实现专家专化方面面临挑战，也就是说，很难确保每个专家能够学习到互不重叠且专注的知识。为此，我们提出了面向终极专家专化的 DeepSeekMoE 架构。该架构包

自然语言处理任务，例如问答、机器翻译、阅读理解和摘要，通常是通过对特定任务的数据集进行监督学习来实现的。我们展示了，语言模型在没有任何显式监督的情况下，仅通过训练一个名为 WebText 的包含数百万网页的新数据集，就开始学会这些任务。当模型以“文档 + 问题”的形式进行输入时，生成的回答在 CoQA 数据集上达到了 55 的 F1 分数 —— 这一成绩相当于或超过了四个基线系统中的三个的表现，而

强化学习的训练样本（这里指的是智能体与环境交互产生的数据）没有任何标记，即强化学习的训练样本并不是一开始就给好的“输入-标签对”，而是智能体与环境交互过程中自己收集的经验轨迹。强化学习的训练样本不是“数据集中已有的标签”，而是：智能体在环境中探索时所收集的(状态, 动作, 奖励, 下一个状态)的交互记录。它们是强化学习“自学能力”的体现，智能体通过这些数据不断改进自己的策略。在强化学习中，训练样本