娜样学AI(三十四|34):Prefill 为什么能并行——从因果掩码到 KV Cache 与 Prefix Cache

关键词: Transformer、Prefill、Decode、Causal Mask、Attention、KV Cache、Prefix Cache、vLLM、LLM Inference

一、今天学了什么

今天继续深入学习大模型推理(LLM Inference)的底层机制,重点解决两个之前一直容易混淆的问题:

第一个问题:Transformer 是自回归模型,为什么 Prefill 阶段能够并行计算多个 Token?

第二个问题:Prefix Cache 和 KV Cache 保存的都是 Key、Value,难道不会造成重复存储吗?

这两个问题实际上涉及三个不同层面的机制:

  • Causal Mask(因果掩码):约束 Token 之间的信息可见范围。
  • KV Cache:避免同一序列在 Decode 时重复计算历史 Key、Value。
  • Prefix Cache:让不同请求复用相同前缀已经计算好的 KV 数据。

今天真正建立的理解是:自回归约束的是信息依赖关系,不代表所有计算必须串行执行;Prefix Cache 则是在 KV Cache 基础上增加跨请求复用能力,而不是创建另一套独立的 Attention 缓存。


二、Prefill 为什么能够并行?因果掩码不是要求顺序计算吗?

1. 自回归到底限制了什么?

LLM 通常采用自回归生成(Autoregressive Generation)。模型根据已经出现的 Token 预测下一个 Token。
例如输入:

A B C D

在计算不同位置的表示时,因果语言模型要求:

位置 A:只能看到 A
位置 B:可以看到 A、B
位置 C:可以看到 A、B、C
位置 D:可以看到 A、B、C、D

我之前容易认为:

既然 D 依赖前面的 A、B、C,那么是不是必须先计算 A,接着计算 B,再计算 C,最后计算 D?

这个理解混淆了两个概念:

Information Dependency(信息依赖)与 Computation Scheduling(计算调度)。

前者要求模型不能读取未来的信息。后者决定 GPU 如何组织已经具备输入条件的计算任务,它们不是同一个问题。

2. 为什么 Prefill 可以同时处理多个 Token?

Prefill 阶段,完整的输入 Prompt 已经给定。
例如:

Prompt = [A, B, C, D]

模型已经知道这四个 Token 的 ID、Embedding 和位置信息。因此,在同一个 Transformer 层中,可以一次性为多个 Token 计算 Q、K、V:

Token Embeddings
       ↓
Q = XWq
K = XWk
V = XWv
       ↓
Matrix Attention
       ↓
当前层所有位置的输出

GPU 可以利用矩阵运算并行处理这些已知位置。这里最重要的是:
同一层内的多个 Token 位置可以并行计算,但每个位置能读取的信息仍然受到因果掩码限制。

3. Causal Mask 是怎样保证信息不泄漏的?

Attention 的计算公式为:
Attention ⁡ ( Q , K , V ) = softmax ⁡ ( Q K ⊤ d k + M ) V \operatorname{Attention}(Q,K,V)=\operatorname{softmax}\left(\frac{QK^\top}{\sqrt{d_k}}+M\right)V Attention(Q,K,V)=softmax(dk​ ​QK⊤​+M)V
其中:

  • Q Q Q:Query,查询矩阵。
  • K K K:Key,键矩阵。
  • V V V:Value,值矩阵。
  • d k d_k dk​:Key 向量的维度。
  • M M M:因果掩码矩阵。

对于一个因果注意力矩阵:
M i j = { 0 , j ≤ i − ∞ , j > i M_{ij}=\begin{cases}0,&j\leq i\\-\infty,&j>i\end{cases} Mij​={0,−∞,​j≤ij>i​
这里, i i i 表示当前 Query 的位置, j j j 表示被访问的 Key 的位置。
当 j > i j>i j>i 时,代表当前 Token 试图访问未来位置。对应 Attention Score 被加上负无穷,经过 Softmax 后,注意力权重趋于 0。
用四个 Token 举例:

             Key
           A  B  C  D
Query  A   ✓  ×  ×  ×
       B   ✓  ✓  ×  ×
       C   ✓  ✓  ✓  ×
       D   ✓  ✓  ✓  ✓

GPU 可以同时计算这些位置的 Attention,但掩码保证每个位置只能使用允许的信息。因此:

因果掩码决定“谁能看到谁”,而不是规定 GPU 必须一个 Token 一个 Token 地计算。
需要补充一个边界:Transformer 层之间仍然存在前后依赖。

第 2 层必须使用第 1 层的输出,因此 Prefill 并不是让所有 Transformer 层同时完成。
参考:Attention Is All You Need


三、Decode 为什么不能像 Prefill 一样并行生成未来 Token?

这是理解 Prefill 与 Decode 区别的关键。

1. Prefill 的输入已经确定

例如:

输入 Prompt:A B C D

四个 Token 已经存在,因此模型可以并行处理它们的当前层计算。

2. Decode 的未来 Token 尚未确定

假设模型已经处理:

A B C D

现在需要生成 E,必须先计算下一个 Token 的概率分布,再根据解码策略确定 E。之后才能根据:

A B C D E

继续生成 F。

因此:

Generate E
     ↓
确定 E
     ↓
Generate F
     ↓
确定 F
     ↓
Generate G

同一条序列的未来 Token 需要依赖前一步实际生成的结果,这就是自回归生成的串行依赖。

3. Continuous Batching 为什么又可以并行?

这里需要区分:单条序列内部的生成顺序与多条序列之间的批处理并行。

例如服务端同时有三个请求:

Request A:生成第 100 个 Token

Request B:生成第 20 个 Token

Request C:生成第 300 个 Token

推理框架可以将这三个请求当前需要计算的 Token 组成一个 Batch,在 GPU 上一起处理。但这并不意味着 Request A 能一次提前生成后面的 10 个 Token。所以更准确的表述是:
Decode 可以并行处理多个请求当前的生成步骤,但单条自回归序列的未来 Token 仍然存在顺序依赖。
这也是为什么 Prefill 与 Decode 具有不同的性能特征。

阶段主要特征常见瓶颈
Prefill一次处理大量已知 Token计算与注意力处理开销
Decode每轮为每条序列生成下一个 Token模型权重和 KV 读取带宽,尤其低 Batch 时

实际性能还取决于模型结构、硬件、Batch Size 和推理框架实现。


四、KV Cache:为什么不需要每次重新计算之前所有 Token?

1. KV Cache 解决什么问题?

假设当前模型已经处理:

A B C D

准备生成下一个 Token 时,Attention 仍然需要使用此前 Token 的 Key 和 Value。

如果没有 KV Cache,推理过程中就需要反复处理已有历史,重新计算相应的 K、V。

但这些历史 Token 对应的计算结果在同一次生成过程中已经存在。

因此,可以把它们缓存起来:

Prefill
   ↓
计算历史 Token 的 K、V
   ↓
保存 KV Cache
   ↓
Decode
   ↓
只计算当前新 Token 的 K、V
   ↓
结合已有 KV Cache 计算 Attention
   ↓
追加新 Token 的 KV

这就是 KV Cache 的基本作用:它用显存空间换取更少的重复计算。

2. KV Cache 为什么会消耗大量显存?

对于常见的 Transformer KV Cache,可以用以下公式估算主要缓存数据容量:
M K V = B × L × T × 2 × H K V × D × S M_{KV}=B\times L\times T\times 2\times H_{KV}\times D\times S MKV​=B×L×T×2×HKV​×D×S
其中:

  • M K V M_{KV} MKV​:KV Cache 数据占用,单位为字节。
  • B B B:同时缓存的序列数量。
  • L L L:Transformer 层数。
  • T T T:每条序列缓存的 Token 数。
  • 2 2 2:分别表示 Key 和 Value。
  • H K V H_{KV} HKV​:KV Head 数量。
  • D D D:每个 Head 的维度。
  • S S S:每个元素占用的字节数。

因此在其他条件不变时:

上下文越长、并发序列越多,KV Cache 需要的空间就越大。

这里也解释了为什么模型权重能够装进 GPU,不代表推理服务能够承载目标并发。

参考:Hugging Face — KV Cache


五、Prefix Cache:为什么不是把 KV Cache 再复制一份?

1. 普通 KV Cache 主要解决请求内部的重复计算

假设 Request A 的输入是:

System Prompt
+
Tool Definitions
+
User Query A

在这次请求的 Decode 阶段,KV Cache 保存该请求已经处理过的 Token 的 Key、Value。这样后续生成不必重新计算整段历史的 K、V。

2. Prefix Cache 解决不同请求之间的重复计算

再假设 Request B 使用:

System Prompt
+
Tool Definitions
+
User Query B

可以发现:

Request A:
[System Prompt][Tool Definitions][Query A]

Request B:
[System Prompt][Tool Definitions][Query B]

前面两部分完全相同。如果系统已经为 Request A 计算过公共前缀,就可能把对应的 KV 块保留起来,让 Request B 直接复用。

Request A
    ↓
Prefill Shared Prefix
    ↓
保存可复用 KV Blocks
    ↓
Request B
    ↓
Prefix Cache Hit
    ↓
复用共享前缀的 KV Blocks
    ↓
只计算未命中部分

因此:Prefix Cache 主要优化跨请求的公共前缀重复计算。

3. 为什么不一定需要两份 KV 数据?

以 vLLM 的 KV Block 管理思路为例,已经计算完成的 KV 块可以通过哈希等元数据建立索引。当新请求命中相同前缀时,可以引用已有的缓存块。这意味着:

Request A ─┐
           ├── Shared KV Block
Request B ─┘

而不是必须:

Request A → KV Copy A

Request B → KV Copy B

当然,这取决于具体推理框架的缓存管理方式。Prefix Cache 仍然需要管理哈希、块表、引用关系和淘汰策略,并不意味着完全没有额外成本。

4. 两者的核心区别

对比维度当前序列 KV CachePrefix Cache
主要目标避免同一请求 Decode 时重复计算历史 KV避免不同请求重复计算公共前缀
主要作用范围当前序列不同请求之间
保存内容Attention 的 K、V可复用前缀对应的 K、V
生命周期通常随活跃请求管理可在请求结束后按策略保留
主要收益提高 Decode 效率降低重复 Prefill 开销

需要强调的是:Prefix Cache 不是一种新的 Attention 数学机制,而是 KV 数据的复用与生命周期管理策略。

参考:vLLM — Automatic Prefix Caching


六、Prefix Cache 为什么主要改善 TTFT,而不是长答案生成速度?

TTFT(Time To First Token,首 Token 延迟)表示从请求开始,到收到第一个生成 Token 所经历的时间。一次典型模型请求可以分为:

Request
   ↓
Queueing
   ↓
Prefill
   ↓
First Token
   ↓
Decode
   ↓
Final Token

Prefix Cache 主要减少重复前缀的 Prefill 计算。因此它更容易改善:

  • 重复长 Prompt 的首 Token 延迟;
  • 多请求共享系统提示词时的计算开销;
  • 公共前缀命中率较高场景下的吞吐能力。

但它不会直接消除生成新 Token 时的自回归依赖。例如:

Request A:
共享 8000 Tokens 前缀
生成 100 Tokens

Request B:
共享 8000 Tokens 前缀
生成 5000 Tokens

两个请求都可能通过 Prefix Cache 减少公共前缀 Prefill。但 Request B 仍然需要逐步生成大量新 Token。因此:

Prefix Cache 可以降低重复输入的处理开销,却不会直接让单条序列的未来 Token 实现并行 Decode。

整体端到端收益还取决于缓存命中率、输出长度、调度和系统负载。


七、和真实 Agent 项目的关系

今天的这些知识对 Agent 工程有直接价值。真实 Agent 通常会反复向模型发送:

System Prompt
+
Tool Schema
+
Permission Rules
+
Memory
+
Conversation History
+
Current User Query

其中部分内容相对稳定,部分内容经常变化。例如:

适合尽量保持稳定的内容:

  • System Prompt;
  • 固定的 Tool Schema;
  • 共享工作流说明。

经常发生变化的内容:

  • 用户当前问题;
  • 当前时间;
  • 动态 Memory;
  • Tool Observation;
  • 当前任务 State。

如果把动态内容频繁插入共享前缀前部,就可能导致后续相同内容无法继续命中完整前缀。因此,在符合模型模板与安全约束的前提下,可以尽量采用:

Stable Shared Prefix
         ↓
Dynamic User / Task Context
         ↓
Current Query

这种组织方式不仅影响模型接收的信息,也会影响推理框架能否复用已计算的 KV。

VLM Agent 还需要考虑什么?

对于 VLM(Vision-Language Model,视觉语言模型),推理资源预算还需要考虑图像部分:

Image Input
     ↓
Preprocessing
     ↓
Vision Encoder
     ↓
Projection / Fusion
     ↓
Language Model

图片数量、分辨率和视觉 Token 数都可能增加计算与缓存压力。因此,VLM Agent 的部署不能只测试单请求能否运行,还需要观察:

  • TTFT;
  • Token 间延迟;
  • 输入图片规模;
  • 峰值显存;
  • KV Cache 占用;
  • 并发吞吐。

今天没有完成新的部署或性能测试,这些属于基于推理原理形成的工程分析。


八、今天最重要的三个认知修正

认知一:因果掩码不等于逐 Token 串行计算

我原来以为: 自回归模型要求后一个 Token 依赖前一个 Token,因此 Prefill 也必须顺序计算。

实际上: Prompt 中所有 Token 已经存在。同一 Transformer 层可以并行计算多个位置,Causal Mask 只负责限制位置之间的信息访问关系。

认知二:Prefix Cache 不是另一套重复 KV Cache

我原来以为: Prefix Cache 与当前序列 KV Cache 保存的是相同内容,会产生两份重复数据。

实际上: Prefix Cache 通过缓存块索引、保留和共享,实现已有 KV 的跨请求复用。

在支持共享块的实现中,不需要为每个命中请求机械复制相同的前缀 KV。

认知三:模型能加载不代表具备目标服务容量

我原来以为: 只要模型权重能够放进 GPU,推理部署就基本没有问题。

实际上: 服务还需要承担 KV Cache、临时计算空间、运行时开销和目标并发。对于 VLM,还必须考虑视觉编码与多模态输入的额外资源需求。


九、今天留下的问题

  1. 如何让 System Prompt 和 Tool Schema 保持 Token 级稳定,同时仍然允许动态 Memory、权限信息和任务 State 正确进入模型上下文?

  2. 当 Prefix Cache 命中率提高时,怎样评估节省的 Prefill 计算与缓存 KV 块占用显存之间的取舍?

  3. 对于 VLM Agent,怎样设计一组覆盖图片数量、分辨率、TTFT、Decode 延迟、KV Cache、显存和并发数的基准测试?


十、总结

今天真正理解了大模型推理中的三个关键机制:

Prefill 能并行,是因为已知 Prompt 的多个位置可以在同一层中进行矩阵计算,因果掩码保证它们不会读取未来的信息。

KV Cache 提高单次自回归生成的效率,避免在 Decode 时重复计算历史 Key、Value。

Prefix Cache 则在此基础上,为不同请求提供公共前缀的 KV 复用能力,从而减少重复 Prefill 的计算开销。

这三个机制共同解释了为什么长上下文、并发和缓存策略会影响模型推理系统的表现。

自回归限制的是信息依赖,KV Cache 优化的是重复计算,Prefix Cache 优化的是跨请求复用。

对 Agent 工程而言,Prompt 的组织顺序不再只是影响回答质量的设计细节,也可能直接影响缓存命中率、首 Token 延迟和部署成本。


参考资料

  1. Attention Is All You Need — Transformer 原论文
  2. Hugging Face — KV Cache Explained
  3. vLLM — Automatic Prefix Caching
  4. vLLM — Prefix Caching Feature
Logo

更多推荐