DeepSeek 发布新的推测解码方法 DSpark

DeepSeek刚刚发布了DSpark for V4 Flash & Pro，这是一种新的推测解码方法，可将吞吐量提高51%至400%！DS还表明，DSpark对于Gemma和Qwen等其他模型也表现良好!

注意：DeepSeek-V4-Pro-DSpark并非新模型，而是在原有版本的基础上增加了一个推测性解码模块。文件夹中提供了一个最小推理示例inference。更多详情，请参阅：https://github.com/deepseek-ai/DeepSpec

介绍

我们推出DeepSeek-V4系列的预览版，其中包括两个强大的混合专家 (MoE) 语言模型——DeepSeek -V4-Pro（1.6T 参数，已激活 49B）和DeepSeek-V4-Flash （284B 参数，已激活 13B）——两者均支持一百万个标记的上下文长度。

DeepSeek-V4系列在架构和优化方面进行了多项关键升级：

• 混合注意力架构：我们设计了一种混合注意力机制，结合了压缩稀疏注意力（CSA）和高度压缩注意力（HCA），以显著提高长上下文效率。在 100 万个词元的上下文设置下，与 DeepSeek-V3.2 相比，DeepSeek-V4-Pro 仅需27% 的单词元推理浮点运算次数和10% 的键值缓存。
• 流形约束超连接（mHC）：我们引入 mHC 来加强传统的残差连接，增强跨层信号传播的稳定性，同时保持模型的表达能力。
• Muon优化器：我们采用Muon优化器以实现更快的收敛速度和更高的训练稳定性。
  我们使用超过32T 个多样化且高质量的词元对两个模型进行预训练，随后进行全面的后训练流程。后训练流程采用两阶段范式：首先，通过 SFT 和 GRPO 强化学习独立培养领域特定专家；其次，通过策略内蒸馏进行统一模型整合，将不同领域的专家技能整合到一个模型中。

DeepSeek-V4-Pro-Max是 DeepSeek-V4-Pro 的最高推理模式，显著提升了开源模型的知识能力，稳居目前最佳开源模型之列。它在编码基准测试中取得了顶尖性能，并在推理和智能体任务方面显著缩小了与领先的闭源模型之间的差距。同时，DeepSeek-V4-Flash-Max在拥有更大的推理预算时，其推理性能与 Pro 版本相当，但由于其参数规模较小，在纯知识任务和最复杂的智能体工作流程方面自然略逊一筹。

Model Downloads

* FP4 + FP8 Mixed: MoE expert parameters use FP4 precision; most other parameters use FP8.

Evaluation Results — Base Model

Reasoning Mode

DeepSeek-V4-Pro 和 DeepSeek-V4-Flash 都支持三种推理强度模式：

DeepSeek-V4-Pro-Max vs Frontier Models

Comparison across Modes