论文标题：DeepSeek‑V4.1‑Flash: Pushing the Limits of KV Cache Compression 机构：DeepSeek‑AI，arXiv:2609.19969，2026‑09‑17 模型仓库：huggingface.co/deepseek‑ai/DeepSeek‑V4.1‑Flash

核心定位：面向长上下文 Agent 智能体场景的多模态 MoE 大模型，核心突破是极致 KV Cache 压缩，百万 token 上下文，大幅降低长序列推理部署成本。

目录

一、论文专有概念列表

二、论文详细解读

1. 研究背景与动机

2. 模型基础参数

3. 核心架构创新（三大支柱：CED + CSA2 + SWA Bounded Replay）

（1）CED 因果编码器‑解码器架构

（2）CSA2 第二代压缩稀疏注意力（本论文最核心）

（3）SWA Bounded Replay 有界重放

4. 其他架构增强

5. 训练基础设施

6. 预训练

7. 后训练（Post‑Training）

8. 主要评测结果

8.1 推理 & 代码 Agent

8.2 多模态 Agent

8.3 Multi‑Agent 多智能体实验

8.4 效率指标

9. 局限性与未来方向

三、核心贡献总结

---

一、论文专有概念列表

专有名词	简要释义
CED（Causal Encoder‑Decoder）	因果编码器‑解码器架构，把 40 层 Transformer 切为 20 层编码器 + 20 层解码器，prefill 阶段只计算编码器，解码器全局 KV 从编码器最后隐状态投影，减半 Prefill 计算量
CSA2（Compressed Sparse Attention 2）	第二代压缩稀疏注意力，跨层 KV 与索引复用，分为 Full、Reindex、Reuse 三种工作模式，是 KV 压缩核心；搭配分层稀疏索引器 Hierarchical Sparse Indexer
Full Mode	CSA2 模式：本层完整计算 main KV、indexer K，执行索引打分生成全新 Top‑K 索引
Reindex Mode	CSA2 模式：复用上层 main‑KV/indexer‑KV，但本层重新打分，生成新 Top‑K 索引
Reuse Mode	CSA2 模式：直接复用上层 main‑KV + 上层已经算好的 Top‑K 索引，不做索引打分，计算开销最低
Hierarchical Sparse Indexer	分层稀疏索引器，仅在 Decoder 使用；第一层 Full Mode 生成候选池，后续 Reindex 层仅在候选池内搜索，索引计算开销不随上下文变长而上涨
SWA（Sliding‑Window Attention）	滑动窗口注意力，处理局部上下文；窗口大小 128；V4.1‑Flash 不再把 SWA‑KV 持久化到 SSD
SWA Bounded Replay	SWA 有界重放。不需要重放全部L×n_wintoken，仅重放最近n_win个 token 近似恢复 SWA KV，用少量重算换取省去持久存储 SWA‑KV，持久 KV 缓存降到 V4‑Flash 的 1/8
Single‑Pass mHC	改进版 mHC（Manifold‑Constrained Hyper‑Connections），单通道实现，Mega‑mHC 内核，激活内存流量减半
Engram	条件记忆模块，解耦记忆与计算；196B 参数，FP8 存储，多阶 n‑gram 哈希记忆，提升长上下文记忆能力
DSpark	推测解码模块，半自回归草稿生成 + 置信度调度校验；主干预训练完成后单独训练，提升解码吞吐
FP4 Main KV Cache	主 KV 缓存采用 MXFP4 (E2M1) 4 比特量化感知训练，HBM 中全局 KV 降到 890 字节 /token；SWA‑KV 依然保留 FP8
DSec（DeepSeek Elastic Compute）	大规模 Agent 训练沙箱平台，支持百万级并发沙箱容器，用于 RL 训练 Agent 环境执行
Controllable Reasoning Effort	RL 引入可控制推理努力度标量b∈[1,100]；API 对外暴露 low (50)/high (75)/max (100) 三档；指数 token 惩罚项控制输出长度，实现质量‑成本平滑权衡
Asynchronous Post‑training	异步后训练基础设施，解决 RL rollout 长尾问题；支持样本级调度、token 级中断、断点续跑、大规模 On‑Policy Distillation (OPD)
Sinkhorn‑balanced Update	针对 Embedding、Engram 大表的优化器更新方案，替代 Adam，仅维护动量缓冲区，节省显存
Head‑wise Muon	按注意力头拆分的 Muon 优化器，不同头使用不同预条件器，适配注意力头异构特性

二、论文详细解读

1. 研究背景与动机

现在长 Horizon Agent（智能体）越来越普及，模型输入 token 量巨大。现有模型三大瓶颈：

1. Prefill 开销大：大量 prompt 输入需要完整前向计算；
2. KV Cache 占用 HBM 显存极高；
3. 持久化 KV（persistent KV）需要 SSD / 主机内存，带宽、存储压力巨大。

DeepSeek V4‑Flash 已经做过稀疏注意力，但全局 KV 缓存、持久 KV 缓存依然是部署成本最大阻碍。

本文目标：在不降甚至提升模型能力前提下，把 KV Cache 压到极限，降低 Agent 场景落地成本。

2. 模型基础参数

• 主干 Backbone：552B 参数 MoE；Engram 记忆模块额外 196B 参数；
• 总层数：40 层，20 层 Causal Encoder +20 层 Decoder；
• 激活参数量：Prefill 阶段仅激活 8B，Decode 阶段激活 16B；
• 上下文窗口：原生支持1,000,000 tokens 百万上下文；
• 训练语料：45T token 多模态语料（图文交错、图文对）；
• 全局 KV Cache（常驻 HBM）：890 字节 /token，是 V4‑Flash 的 1/4；
• Persistent 持久 KV（SSD/Host 内存）：V4‑Flash 的 1/8。

注意：552B 是全部主干参数，不是每次都激活；prefill 只开 8B，推理成本很低。

3. 核心架构创新（三大支柱：CED + CSA2 + SWA Bounded Replay）

（1）CED 因果编码器‑解码器架构

传统 Transformer 每一层都需要自己算 KV。CED 将前 20 层作为 Encoder，后 20 层 Decoder 的全局 KV 不从本层隐状态计算，直接从 Encoder 最后一层隐状态通过投影矩阵生成。

• Prefill 阶段：只完整跑 Encoder，Decoder 全局 KV 靠投影得到，Prefill 计算量近似减半；
• 但 SWA 滑动窗口 KV 依然每层独立计算，因此引入 SWA Bounded Replay 来规避存储开销。

（2）CSA2 第二代压缩稀疏注意力（本论文最核心）

CSA2 同时从entry 大小、序列维度、层维度三个方向做 KV 压缩。

1. 层维度：跨层复用 main‑KV 和 indexer‑KV，不需要每层独立存储一份；提供 3 种静态模式
   • Full：完整计算 KV 与索引；
   • Reindex：复用 KV，重新打分选索引；
   • Reuse：KV、索引全部复用，无打分，速度最快。
2. 序列维度：去除 CSA 旧版本重叠压缩、绝对位置编码，简化压缩器。
3. 搭配Hierarchical Sparse Indexer 分层稀疏索引器： Decoder 第一层 Full Mode 扫描全部上下文生成候选池；后面 Reindex 层只在候选池打分。索引打分开销不再随上下文长度线性增长。

结合 FP4 量化感知训练主 KV 缓存，把全局 KV 压到 890B/token。SWA‑KV 对量化敏感，维持 FP8。

（3）SWA Bounded Replay 有界重放

V4 版本需要把 SWA KV 存入持久 SSD 缓存，占接近一半持久存储；精确恢复 SWA 需要重放L × n_win大量 token，代价极高。

V4.1‑Flash：不再将 SWA KV 写入持久 SSD 缓存。当发生缓存 miss，只重放最近n_win=128个 token，近似重建 SWA 状态。

代价：微小精度损失，论文在训练阶段也模拟该重放，让模型适应近似状态；收益：Persistent KV 直接降到 V4‑Flash 的 1/8。

4. 其他架构增强

1. Single‑Pass mHC：原版 mHC 需要多轮 kernel，Single‑Pass 改动数据流依赖，融合为 Mega‑mHC 单内核，激活内存流量减半；
2. Engram 记忆模块 196B：多阶 n‑gram 哈希条件记忆，增强长程记忆，Embedding 使用 FP8；
3. DSpark 推测解码：预训练冻结主干后单独训练，半自回归草稿生成，置信度动态校验，提升 token 吞吐；
4. DeepSeek‑ViT 视觉编码器：从零训练，2D‑RoPE，3×3 pixel‑unshuffle 降采样，支持最高 1344×1344 图像分辨率；多模态 MoE 采用模态独立负载均衡，图文 token 维护两套偏差，解决图文专家路由分布不一致。

5. 训练基础设施

1. 训练优化器组合
   • 主干线性层：Head‑wise Muon；
   • Norm 层、bias：AdamW；
   • Embedding、Engram、预测头：Sinkhorn‑balanced Update，不用 AdamW，节省巨大优化器显存。
2. 多模态训练设施：解耦 Vision Encoder 执行，均衡图像分片，通信‑计算重叠；
3. CSA2 训练支持：Shadow Indexer、Pipeline payload 扩展、微批次共享状态管理，让跨层 KV 复用时可以分布式流水线训练。

6. 预训练

• 45T 多模态 token；batch size 固定 100.6M tokens；
• 直接 64K 序列长度从零训练稀疏注意力，不做 dense 预热；34T token 时把序列长度扩到 1M；
• 文本：过滤低质量模型生成内容，增加现代开源代码；
• 多模态：清洗网页原生图文对、交错 PDF 网页，补充 OCR、视觉定位、图像代码对；文本：多模态 token 比例 7:1。

预训练 Base 模型结论：DeepSeek‑V4.1‑Flash‑Base，仅 1/3 总参数，1/4 激活参数，知识、推理、编码能力对标 DeepSeek‑V4‑Pro‑Base，内部文档、代码库、学术材料的 BPB（bits‑per‑byte，越低越好）优于 V4‑Flash/V4‑Pro。

7. 后训练（Post‑Training）

重点：没有提出新算法，全部增益来自大规模自动化数据、环境工程，而非新 RL 算法。 完整流水线：SFT → 合成任务 RL → On‑Policy Distillation（OPD）。

1. 大规模 Agent 任务自动合成 将任务抽象三元组(问题,环境,验证系统)。

   • 通用 Agent：基于员工真实工作失败 case，mock 真实 SaaS、企业系统工具环境；
   • 编码 Agent：从 GitHub 仓库、真实失败轨迹自动构建容器化任务环境，多 Agent 流水线校验任务正确性。

2. DSec 大规模 Agent 沙箱平台 自定义编排引擎，支持百万级并发容器，高节点密度，eBPF/AppArmor 防护防止 Agent 破坏环境，支持任务断点挂起恢复，为 RL 提供大规模任务运行环境。

3. 可控推理努力度 Controllable Reasoning Effort

• 增加标量努力度b∈1~100加入 system prompt；
• RL 训练使用指数衰减 token 惩罚：高努力等级对长输出惩罚弱，低努力强惩罚；
• 部署可插值任意 b，对外 API 封装三档：low (50), high (75), max (100)。
• 效果：同一权重，只改变努力度参数，实现速度‑精度连续可调；提升努力度，推理 token 变多、任务准确率上升。

1. 异步后训练系统 Asynchronous Post‑training 解决 RL rollout 长尾样本拖慢训练。样本级调度、token 级中断、KV 缓存状态持久化实现无缝断点续跑；缓解长度偏置、off‑policy 分布偏移；支持异构多教师的大规模 On‑Policy Distillation。

8. 主要评测结果

8.1 推理 & 代码 Agent

1. Codeforces 评分3471，超过 V4‑Pro (3348)；MathArena Apex Pass@1=65.6% 追平 Kimi‑K3；GPQA Diamond=90.9%。
2. Agent 编码能力亮点：
   • DeepSWE v1.1 74.2%，超过 Opus‑5、GPT‑5.6‑Sol 等闭源模型；
   • Terminal‑Bench2.1 达到 90.6%，超过主流闭源；
   • 但 Terminal‑Bench4.0 这类需要顶级领域专家知识任务上依然弱于最强闭源。

8.2 多模态 Agent

• 图表理解、视觉推理基准超越开源对手 Kimi‑K3；前端开发、办公自动化等视觉 Agent 任务表现强；
• 但整体能力距离顶级闭源多模态系统仍存在差距。

8.3 Multi‑Agent 多智能体实验

在 ProgramBench、FrontierSWE‑v2，多 Agent 配置显著优于单 Agent；随时间预算增加，性能持续上涨。

8.4 效率指标

1. 解码 FLOPs：上下文从 4K 扩展到 1M，解码计算量仅上涨约 25%；老模型随上下文增长 FLOPs 急剧飙升；
2. KV 缓存对比：

   模型	全局 KV（HBM）	Persistent KV（SSD/Host）
   V4‑Flash	~3514 Byte/token	基准 1×
   V4.1‑Flash	890 Byte/token（1/4）	1/8

9. 局限性与未来方向

1. CSA2 的稀疏索引选择错误、SWA Bounded Replay 近似重建，极端边界 case 可能造成能力退化；需要继续压力测试长上下文边界；
2. 在最高难度科学、专家级 Agent 任务，与顶尖闭源模型仍存在性能鸿沟；
3. 未来方向：数据‑模型‑RL 协同缩放；模型与 Agent Harness 协同联合设计；继续降低部署成本。

三、核心贡献总结

1. CED 架构：Prefill 计算量近乎减半，针对 Agent 大量 prompt 输入场景；
2. CSA2 跨层 KV 复用 + FP4 KV 量化，全局 KV 压至 890 字节每 token；
3. SWA Bounded Replay 有界重放，不需要持久存储 SWA‑KV，Persistent KV 降到前代 1/8，大幅降低 SSD 压力；
4. 提出可标量控制推理努力度，单权重实现推理质量‑token 成本平滑可调；
5. DSec 沙箱与完整自动化 Agent 数据流水线，证明后训练阶段，数据 / 环境工程收益大于新算法创新；
6. 多模态 MoE，百万上下文，在极低激活参数量前提下，Agent 基准达到比肩甚至超越部分闭源模型。