深度 | DeepSeek 开源 DeepInfer 一周被反超:vLLM 每卡 95 万 token,推理层从「模型附属」变「独立产品」

155 万亿 token。这是 DeepSeek 的推理框架 DeepInfer 在单个集群里一天的吞吐量。2026 年 10 月 20 日,DeepSeek 用 Apache 2.0 协议把它开源,随源码一起公开的还有那组让同行眼红的账:按谷电定价折算,每张 GPU 每小时产出约 38 美元,前缀缓存命中率 96%。
开源不到一周,两件更抓眼的事接连发生。10 月 18 日 vLLM 发 v0.32,解码性能追到 DeepInfer 的 6% 以内;10 月 19 日 SGLang 发 0.5.22,解码单步比 DeepInfer 快 7.4%。36氪把这叫「学习 DeepSeek、成为 DeepSeek、超越 DeepSeek」的开源竞赛。

上图:36氪对 DeepSeek 开源 DeepInfer 后 vLLM/SGLang 连夜反超的报道页原图,2026-10-26,来源:36kr.com。
这场竞速把 AI 软件一个被忽视的层次推上台面:当大模型权重越来越像白捡的底座,真正稀缺、真正能赚钱的,是把它跑得又便宜又快的那套工程,也就是推理层。这篇文章顺着三个问题走:DeepInfer 强在哪、通用引擎怎么一周追平、推理层变独立产品对开发者意味着什么。
155 万亿 token,拆开是三层工程
DeepInfer 不是从零写起,它基于 vLLM 深度改造,参考了 SGLang 和 TensorRT-LLM,集成了 DeepSeek 此前开源的 FlashMLA、DeepGEMM、DeepEP 算子库。开源时只支持一个模型 DeepSeek-V4.1-Flash,说明它的优化把「通用」让位给了「DeepSeek 架构的专项极致」。

上图:DeepInfer 的架构拆解,算子层、Prefill/Decode 分离、3FS 分布式 KV 缓存、DSpark 投机解码与双硬件适配。
它的性能来自三处。Prefill/Decode 分离,prefill 用常见的 8 卡机器,decode 用 64 到 128 卡的超节点,官方建议最小高效部署是 64 卡 prefill 加 64 卡 decode 的 1:1 配置。KV 缓存外置,缓存放进独立的 3FS 分布式存储集群,容量约 100 PiB,agent 流量缓存保留 3 天、聊天流量保留 7 天,峰值聚合读带宽约 10 TiB/s;这让命中率达到 96%,命中后 prefill 吞吐从约 6 万 token/s 跳到约 150 万 token/s,25 倍的差距。投机解码 DSpark,草稿模型一次提议 5 个 token,用一个置信度预测头筛掉不太会被接受的候选,让每步需要验证的草稿 token 减少约 30%,生产负载下吞吐提升 4% 到 7%。再加上 SWA Bounded Replay,缓存未命中时只对提示词最后 128 个 token 重新执行解码层运算,几乎能把总预填充计算量减半。
这些性能数字背后的请求画像同样具体:线上平均每个请求输入约 7.7 万 token,首 token 延迟约 400 毫秒,生成阶段每秒约 230 token,写代码场景能到 300。调度层也精细,prefill 按上下文长度分四档(16K 以下、16K 到 64K、64K 到 256K、256K 以上)动态调度,decode 按请求数和总 KV 长度路由,视觉编码器按图片 patch 数选最闲的 GPU。配套开源的 deepseek-recipe 用 Rust 写就,统一转换 OpenAI Chat/Responses 与 Anthropic Messages 三种 API 格式。也要说清没开源的部分,KV 缓存管理和跨机负载均衡因为和内部 3FS 基础设施深度耦合没有放出,完整的 HTTP 服务层(鉴权、配额、重试)需要用户自建。
一周反超,通用引擎学走了 DeepSeek 的招
vLLM 的动作最快。10 月 18 日的 v0.32 在 GB200、131K 上下文、每轮 3 个草稿 token 的配置下,解码和 DeepInfer 的差距缩到 6% 以内,预填充新 token 吞吐提升 35.6% 到 43.9%。机架级更狠:SemiAnalysis 的 AgentX 测试里,vLLM 在 GB300 NVL72 机架配合 PD 分离和超宽专家并行,每卡吞吐 95.4 万 token/s,是单节点的 7.9 倍,折算每卡每小时 38.96 美元,微超 DeepSeek 公布的 38 美元标杆。它的关键优化是 DeepSelect 直接处理 BF16 数据、CPU 通信递归倍增、DSpark 草稿生成和完整 CUDA Graph。
SGLang 的 0.5.22 在 10 月 19 日跟上,预填充在 4 张 B300 或 GB300 上最高比 DeepInfer 高约 4%,解码在 64 张 GB300、每卡 256 请求下单步 28.88ms,比 DeepInfer 的 31.19ms 快约 7.4%。它靠 Mega 内核、SWA 有界重放、Engram 优化和可拆分 CUDA 图,还补上了 KV 缓存系统、PD 分离、负载均衡这些完整服务组件。

上图:推理引擎反超时间线,DeepInfer 开源一周内 vLLM 与 SGLang 先后追平。
这些对比要打三个折扣。各家是在各自硬件和配置上自报成绩,不是同一把尺子下的通用排名;SGLang 为了公平重跑了 DeepInfer,作者也承认方法学仍有差异;通用引擎的优势集中在高并发大批量,低并发、单用户、边缘场景下专用引擎未必吃亏。
选型先看负载形态,再看 benchmark
| 框架 | 定位 | 核心机制 | 许可证 | GitHub 星 |
|---|---|---|---|---|
| vLLM | 通用开源推理服务,覆盖最广 | PagedAttention | Apache 2.0 | 约 9.7 万 |
| SGLang | 高性能服务,长前缀复用领先 | RadixAttention | Apache 2.0 | 约 3.9 万 |
| DeepInfer | DeepSeek 官方生产框架,专项调优 | FlashMLA、MoE 专家并行 | Apache 2.0 | 约 2.6 万 |
vLLM 靠 PagedAttention 消除显存碎片,硬件和模型覆盖最广,OpenAI 兼容接口可直接替换 base_url,适合硬件受限、多模型混跑、模型迭代快的团队。SGLang 的 RadixAttention 复用共享前缀的 KV 缓存,多轮对话、RAG、Agent 工具链这类前缀复用高的负载,收益是结构性的。DeepInfer 是 DeepSeek 架构的专项优化,部署 DeepSeek 模型或有昇腾 NPU 约束时才重点评估,代价是模型组合复杂时可能形成绑定。

上图:三框架选型决策路径,按硬件与模型锁定、前缀复用程度分流。
国产算力这条线单独拎出来。DeepInfer 明确支持英伟达 SM100 和华为昇腾 950,Hopper 及更早架构不在支持列表。它的昇腾支持不是能跑起来而已,tilelang_ops 目录下 CUDA 版和 Ascend 版各 30 个算子一一对应,DeepGEMM-Ascend、DeepEP-Ascend 双份 submodule,模型结构、调度、并行通信共用。这是国产 NPU 第一次和英伟达并列出现在前沿推理框架的官方支持列表里。两个保留项:保证输出一致性的确定性功能只支持英伟达硬件,已发布的性能基准也都在英伟达芯片上完成。
推理层成了独立产品,开发者要改三件事
把这一周放到更大的图景里,它确认了一个判断:权重正在变成白捡的底座,稀缺性从模型参数迁到了推理层。

上图:价值迁移路径,权重开源后稀缺性下移到推理、微调、评测三层。
证据来自两个方向。上游,权重开放成了默认动作,腾讯混元 Hy4、月之暗面 Kimi K3.1 Pro、美团 LongCat-2.5 一周内集体放权。下游,微调和评测正在复刻推理引擎去年走过的路,从边缘技巧变成基础设施的显式产品层。夹在中间的推理层,第一次出现专用引擎和通用引擎的正面竞争,结果是通用引擎拿下高并发,专用引擎守住 DeepSeek 架构和国产算力的利基。
落到开发者身上是三件事:推理框架选型从看榜单变成看负载形态;模型无关的适配层越来越值钱,因为模型和引擎都在快速换;如果 DeepInfer 按结果计费的逻辑继续走,推理层的收费锚点迟早从生成多少 token 挪到做对多少事。
我判断,推理引擎这一层不会出现一个赢家通吃,而会像数据库一样长出几个按负载形态分化的巨头:vLLM 吃掉通用市场,SGLang 守住前缀复用型负载,DeepInfer 代表模型厂商把推理栈开源的新品类,后面大概率还有更多模型厂跟进。
我预判一个 2027 年能验证的信号:DeepSeek 下一个大模型开源时,DeepInfer 是把通用引擎的适配留到开源后,还是提前把 vLLM、SGLang 拉进联合适配,这两个选择会决定专用引擎是长期物种还是过渡形态。DeepInfer 真正的历史意义,是把一个此前藏在模型厂商机房里的印钞机拆开摊在桌面上。谁能在开源一周内把同样的工程复现甚至反超,谁就证明自己握住了推理层这张入场券。
参考来源
- DeepSeek DeepInfer 官方 GitHub 仓库(官方一手,开源 2026-10-20)
- 36氪《DeepSeek 全面开源推理框架:兼容英伟达、华为昇腾芯片,单集群日吞吐 155 万亿 Token》(中文媒体,2026-10-22)
- 36氪《DeepSeek 开源真香,vLLM/SGLang 连夜性能反超,推理速度卷出新高度》(中文媒体,2026-10-26)
- 华为云社区《推理框架选型:vLLM、SGLang、DeepInfer,别只看 benchmark》(技术社区,2026-10)
- 至顶网《DeepSeek 开源 DeepInfer 推理框架,支撑其生产级服务》(中文媒体,2026-10-22)
- SiliconANGLE《DeepSeek open-sources DeepInfer, the inference framework behind its production services》(英文媒体,2026-10-20)
- vLLM 官方 GitHub 仓库(官方一手)
- SGLang 官方 GitHub 仓库(官方一手)
每日更新。
更多推荐




所有评论(0)