我们提出了，一个开源的视觉-语言（Vision-Language, VL）模型，旨在支持真实世界中的视觉与语言理解应用。我们的研究方法围绕三个核心方向展开：首先，在数据构建方面，我们力求确保数据具备多样性、可扩展性，并能够充分覆盖真实场景，例如网页截图、PDF 文件、OCR 文本、图表以及知识型内容（包括专家知识与教材等），以实现对现实应用语境的全面表征。同时，我们基于真实用户使用场景建立了用例分

在大型语言模型时代，专家混合（Mixture-of-Experts，MoE）是一种在扩大模型参数规模时管理计算成本的有前景架构。然而，传统的 MoE 架构（如 GShard）通常采用从NNN个专家中激活前KKK个（Top-KKK）的方式，但在实现专家专化方面面临挑战，也就是说，很难确保每个专家能够学习到互不重叠且专注的知识。为此，我们提出了面向终极专家专化的 DeepSeekMoE 架构。该架构包

自然语言处理任务，例如问答、机器翻译、阅读理解和摘要，通常是通过对特定任务的数据集进行监督学习来实现的。我们展示了，语言模型在没有任何显式监督的情况下，仅通过训练一个名为 WebText 的包含数百万网页的新数据集，就开始学会这些任务。当模型以“文档 + 问题”的形式进行输入时，生成的回答在 CoQA 数据集上达到了 55 的 F1 分数 —— 这一成绩相当于或超过了四个基线系统中的三个的表现，而

强化学习的训练样本（这里指的是智能体与环境交互产生的数据）没有任何标记，即强化学习的训练样本并不是一开始就给好的“输入-标签对”，而是智能体与环境交互过程中自己收集的经验轨迹。强化学习的训练样本不是“数据集中已有的标签”，而是：智能体在环境中探索时所收集的(状态, 动作, 奖励, 下一个状态)的交互记录。它们是强化学习“自学能力”的体现，智能体通过这些数据不断改进自己的策略。在强化学习中，训练样本