娜样学AI(三十四|34):Prefill 为什么能并行——从因果掩码到 KV Cache 与 Prefix Cache
娜样学AI(三十四|34):Prefill 为什么能并行——从因果掩码到 KV Cache 与 Prefix Cache
关键词: Transformer、Prefill、Decode、Causal Mask、Attention、KV Cache、Prefix Cache、vLLM、LLM Inference
一、今天学了什么
今天继续深入学习大模型推理(LLM Inference)的底层机制,重点解决两个之前一直容易混淆的问题:
第一个问题:Transformer 是自回归模型,为什么 Prefill 阶段能够并行计算多个 Token?
第二个问题:Prefix Cache 和 KV Cache 保存的都是 Key、Value,难道不会造成重复存储吗?
这两个问题实际上涉及三个不同层面的机制:
- Causal Mask(因果掩码):约束 Token 之间的信息可见范围。
- KV Cache:避免同一序列在 Decode 时重复计算历史 Key、Value。
- Prefix Cache:让不同请求复用相同前缀已经计算好的 KV 数据。
今天真正建立的理解是:自回归约束的是信息依赖关系,不代表所有计算必须串行执行;Prefix Cache 则是在 KV Cache 基础上增加跨请求复用能力,而不是创建另一套独立的 Attention 缓存。
二、Prefill 为什么能够并行?因果掩码不是要求顺序计算吗?
1. 自回归到底限制了什么?
LLM 通常采用自回归生成(Autoregressive Generation)。模型根据已经出现的 Token 预测下一个 Token。
例如输入:
A B C D
在计算不同位置的表示时,因果语言模型要求:
位置 A:只能看到 A
位置 B:可以看到 A、B
位置 C:可以看到 A、B、C
位置 D:可以看到 A、B、C、D
我之前容易认为:
既然 D 依赖前面的 A、B、C,那么是不是必须先计算 A,接着计算 B,再计算 C,最后计算 D?
这个理解混淆了两个概念:
Information Dependency(信息依赖)与 Computation Scheduling(计算调度)。
前者要求模型不能读取未来的信息。后者决定 GPU 如何组织已经具备输入条件的计算任务,它们不是同一个问题。
2. 为什么 Prefill 可以同时处理多个 Token?
Prefill 阶段,完整的输入 Prompt 已经给定。
例如:
Prompt = [A, B, C, D]
模型已经知道这四个 Token 的 ID、Embedding 和位置信息。因此,在同一个 Transformer 层中,可以一次性为多个 Token 计算 Q、K、V:
Token Embeddings
↓
Q = XWq
K = XWk
V = XWv
↓
Matrix Attention
↓
当前层所有位置的输出
GPU 可以利用矩阵运算并行处理这些已知位置。这里最重要的是:
同一层内的多个 Token 位置可以并行计算,但每个位置能读取的信息仍然受到因果掩码限制。
3. Causal Mask 是怎样保证信息不泄漏的?
Attention 的计算公式为:
Attention
(
Q
,
K
,
V
)
=
softmax
(
Q
K
⊤
d
k
+
M
)
V
\operatorname{Attention}(Q,K,V)=\operatorname{softmax}\left(\frac{QK^\top}{\sqrt{d_k}}+M\right)V
Attention(Q,K,V)=softmax(dkQK⊤+M)V
其中:
- Q Q Q:Query,查询矩阵。
- K K K:Key,键矩阵。
- V V V:Value,值矩阵。
- d k d_k dk:Key 向量的维度。
- M M M:因果掩码矩阵。
对于一个因果注意力矩阵:
M
i
j
=
{
0
,
j
≤
i
−
∞
,
j
>
i
M_{ij}=\begin{cases}0,&j\leq i\\-\infty,&j>i\end{cases}
Mij={0,−∞,j≤ij>i
这里,
i
i
i 表示当前 Query 的位置,
j
j
j 表示被访问的 Key 的位置。
当
j
>
i
j>i
j>i 时,代表当前 Token 试图访问未来位置。对应 Attention Score 被加上负无穷,经过 Softmax 后,注意力权重趋于 0。
用四个 Token 举例:
Key
A B C D
Query A ✓ × × ×
B ✓ ✓ × ×
C ✓ ✓ ✓ ×
D ✓ ✓ ✓ ✓
GPU 可以同时计算这些位置的 Attention,但掩码保证每个位置只能使用允许的信息。因此:
因果掩码决定“谁能看到谁”,而不是规定 GPU 必须一个 Token 一个 Token 地计算。
需要补充一个边界:Transformer 层之间仍然存在前后依赖。
第 2 层必须使用第 1 层的输出,因此 Prefill 并不是让所有 Transformer 层同时完成。
参考:Attention Is All You Need
三、Decode 为什么不能像 Prefill 一样并行生成未来 Token?
这是理解 Prefill 与 Decode 区别的关键。
1. Prefill 的输入已经确定
例如:
输入 Prompt:A B C D
四个 Token 已经存在,因此模型可以并行处理它们的当前层计算。
2. Decode 的未来 Token 尚未确定
假设模型已经处理:
A B C D
现在需要生成 E,必须先计算下一个 Token 的概率分布,再根据解码策略确定 E。之后才能根据:
A B C D E
继续生成 F。
因此:
Generate E
↓
确定 E
↓
Generate F
↓
确定 F
↓
Generate G
同一条序列的未来 Token 需要依赖前一步实际生成的结果,这就是自回归生成的串行依赖。
3. Continuous Batching 为什么又可以并行?
这里需要区分:单条序列内部的生成顺序与多条序列之间的批处理并行。
例如服务端同时有三个请求:
Request A:生成第 100 个 Token
Request B:生成第 20 个 Token
Request C:生成第 300 个 Token
推理框架可以将这三个请求当前需要计算的 Token 组成一个 Batch,在 GPU 上一起处理。但这并不意味着 Request A 能一次提前生成后面的 10 个 Token。所以更准确的表述是:
Decode 可以并行处理多个请求当前的生成步骤,但单条自回归序列的未来 Token 仍然存在顺序依赖。
这也是为什么 Prefill 与 Decode 具有不同的性能特征。
| 阶段 | 主要特征 | 常见瓶颈 |
|---|---|---|
| Prefill | 一次处理大量已知 Token | 计算与注意力处理开销 |
| Decode | 每轮为每条序列生成下一个 Token | 模型权重和 KV 读取带宽,尤其低 Batch 时 |
实际性能还取决于模型结构、硬件、Batch Size 和推理框架实现。
四、KV Cache:为什么不需要每次重新计算之前所有 Token?
1. KV Cache 解决什么问题?
假设当前模型已经处理:
A B C D
准备生成下一个 Token 时,Attention 仍然需要使用此前 Token 的 Key 和 Value。
如果没有 KV Cache,推理过程中就需要反复处理已有历史,重新计算相应的 K、V。
但这些历史 Token 对应的计算结果在同一次生成过程中已经存在。
因此,可以把它们缓存起来:
Prefill
↓
计算历史 Token 的 K、V
↓
保存 KV Cache
↓
Decode
↓
只计算当前新 Token 的 K、V
↓
结合已有 KV Cache 计算 Attention
↓
追加新 Token 的 KV
这就是 KV Cache 的基本作用:它用显存空间换取更少的重复计算。
2. KV Cache 为什么会消耗大量显存?
对于常见的 Transformer KV Cache,可以用以下公式估算主要缓存数据容量:
M
K
V
=
B
×
L
×
T
×
2
×
H
K
V
×
D
×
S
M_{KV}=B\times L\times T\times 2\times H_{KV}\times D\times S
MKV=B×L×T×2×HKV×D×S
其中:
- M K V M_{KV} MKV:KV Cache 数据占用,单位为字节。
- B B B:同时缓存的序列数量。
- L L L:Transformer 层数。
- T T T:每条序列缓存的 Token 数。
- 2 2 2:分别表示 Key 和 Value。
- H K V H_{KV} HKV:KV Head 数量。
- D D D:每个 Head 的维度。
- S S S:每个元素占用的字节数。
因此在其他条件不变时:
上下文越长、并发序列越多,KV Cache 需要的空间就越大。
这里也解释了为什么模型权重能够装进 GPU,不代表推理服务能够承载目标并发。
五、Prefix Cache:为什么不是把 KV Cache 再复制一份?
1. 普通 KV Cache 主要解决请求内部的重复计算
假设 Request A 的输入是:
System Prompt
+
Tool Definitions
+
User Query A
在这次请求的 Decode 阶段,KV Cache 保存该请求已经处理过的 Token 的 Key、Value。这样后续生成不必重新计算整段历史的 K、V。
2. Prefix Cache 解决不同请求之间的重复计算
再假设 Request B 使用:
System Prompt
+
Tool Definitions
+
User Query B
可以发现:
Request A:
[System Prompt][Tool Definitions][Query A]
Request B:
[System Prompt][Tool Definitions][Query B]
前面两部分完全相同。如果系统已经为 Request A 计算过公共前缀,就可能把对应的 KV 块保留起来,让 Request B 直接复用。
Request A
↓
Prefill Shared Prefix
↓
保存可复用 KV Blocks
↓
Request B
↓
Prefix Cache Hit
↓
复用共享前缀的 KV Blocks
↓
只计算未命中部分
因此:Prefix Cache 主要优化跨请求的公共前缀重复计算。
3. 为什么不一定需要两份 KV 数据?
以 vLLM 的 KV Block 管理思路为例,已经计算完成的 KV 块可以通过哈希等元数据建立索引。当新请求命中相同前缀时,可以引用已有的缓存块。这意味着:
Request A ─┐
├── Shared KV Block
Request B ─┘
而不是必须:
Request A → KV Copy A
Request B → KV Copy B
当然,这取决于具体推理框架的缓存管理方式。Prefix Cache 仍然需要管理哈希、块表、引用关系和淘汰策略,并不意味着完全没有额外成本。
4. 两者的核心区别
| 对比维度 | 当前序列 KV Cache | Prefix Cache |
|---|---|---|
| 主要目标 | 避免同一请求 Decode 时重复计算历史 KV | 避免不同请求重复计算公共前缀 |
| 主要作用范围 | 当前序列 | 不同请求之间 |
| 保存内容 | Attention 的 K、V | 可复用前缀对应的 K、V |
| 生命周期 | 通常随活跃请求管理 | 可在请求结束后按策略保留 |
| 主要收益 | 提高 Decode 效率 | 降低重复 Prefill 开销 |
需要强调的是:Prefix Cache 不是一种新的 Attention 数学机制,而是 KV 数据的复用与生命周期管理策略。
参考:vLLM — Automatic Prefix Caching
六、Prefix Cache 为什么主要改善 TTFT,而不是长答案生成速度?
TTFT(Time To First Token,首 Token 延迟)表示从请求开始,到收到第一个生成 Token 所经历的时间。一次典型模型请求可以分为:
Request
↓
Queueing
↓
Prefill
↓
First Token
↓
Decode
↓
Final Token
Prefix Cache 主要减少重复前缀的 Prefill 计算。因此它更容易改善:
- 重复长 Prompt 的首 Token 延迟;
- 多请求共享系统提示词时的计算开销;
- 公共前缀命中率较高场景下的吞吐能力。
但它不会直接消除生成新 Token 时的自回归依赖。例如:
Request A:
共享 8000 Tokens 前缀
生成 100 Tokens
Request B:
共享 8000 Tokens 前缀
生成 5000 Tokens
两个请求都可能通过 Prefix Cache 减少公共前缀 Prefill。但 Request B 仍然需要逐步生成大量新 Token。因此:
Prefix Cache 可以降低重复输入的处理开销,却不会直接让单条序列的未来 Token 实现并行 Decode。
整体端到端收益还取决于缓存命中率、输出长度、调度和系统负载。
七、和真实 Agent 项目的关系
今天的这些知识对 Agent 工程有直接价值。真实 Agent 通常会反复向模型发送:
System Prompt
+
Tool Schema
+
Permission Rules
+
Memory
+
Conversation History
+
Current User Query
其中部分内容相对稳定,部分内容经常变化。例如:
适合尽量保持稳定的内容:
- System Prompt;
- 固定的 Tool Schema;
- 共享工作流说明。
经常发生变化的内容:
- 用户当前问题;
- 当前时间;
- 动态 Memory;
- Tool Observation;
- 当前任务 State。
如果把动态内容频繁插入共享前缀前部,就可能导致后续相同内容无法继续命中完整前缀。因此,在符合模型模板与安全约束的前提下,可以尽量采用:
Stable Shared Prefix
↓
Dynamic User / Task Context
↓
Current Query
这种组织方式不仅影响模型接收的信息,也会影响推理框架能否复用已计算的 KV。
VLM Agent 还需要考虑什么?
对于 VLM(Vision-Language Model,视觉语言模型),推理资源预算还需要考虑图像部分:
Image Input
↓
Preprocessing
↓
Vision Encoder
↓
Projection / Fusion
↓
Language Model
图片数量、分辨率和视觉 Token 数都可能增加计算与缓存压力。因此,VLM Agent 的部署不能只测试单请求能否运行,还需要观察:
- TTFT;
- Token 间延迟;
- 输入图片规模;
- 峰值显存;
- KV Cache 占用;
- 并发吞吐。
今天没有完成新的部署或性能测试,这些属于基于推理原理形成的工程分析。
八、今天最重要的三个认知修正
认知一:因果掩码不等于逐 Token 串行计算
我原来以为: 自回归模型要求后一个 Token 依赖前一个 Token,因此 Prefill 也必须顺序计算。
实际上: Prompt 中所有 Token 已经存在。同一 Transformer 层可以并行计算多个位置,Causal Mask 只负责限制位置之间的信息访问关系。
认知二:Prefix Cache 不是另一套重复 KV Cache
我原来以为: Prefix Cache 与当前序列 KV Cache 保存的是相同内容,会产生两份重复数据。
实际上: Prefix Cache 通过缓存块索引、保留和共享,实现已有 KV 的跨请求复用。
在支持共享块的实现中,不需要为每个命中请求机械复制相同的前缀 KV。
认知三:模型能加载不代表具备目标服务容量
我原来以为: 只要模型权重能够放进 GPU,推理部署就基本没有问题。
实际上: 服务还需要承担 KV Cache、临时计算空间、运行时开销和目标并发。对于 VLM,还必须考虑视觉编码与多模态输入的额外资源需求。
九、今天留下的问题
-
如何让 System Prompt 和 Tool Schema 保持 Token 级稳定,同时仍然允许动态 Memory、权限信息和任务 State 正确进入模型上下文?
-
当 Prefix Cache 命中率提高时,怎样评估节省的 Prefill 计算与缓存 KV 块占用显存之间的取舍?
-
对于 VLM Agent,怎样设计一组覆盖图片数量、分辨率、TTFT、Decode 延迟、KV Cache、显存和并发数的基准测试?
十、总结
今天真正理解了大模型推理中的三个关键机制:
Prefill 能并行,是因为已知 Prompt 的多个位置可以在同一层中进行矩阵计算,因果掩码保证它们不会读取未来的信息。
KV Cache 提高单次自回归生成的效率,避免在 Decode 时重复计算历史 Key、Value。
Prefix Cache 则在此基础上,为不同请求提供公共前缀的 KV 复用能力,从而减少重复 Prefill 的计算开销。
这三个机制共同解释了为什么长上下文、并发和缓存策略会影响模型推理系统的表现。
自回归限制的是信息依赖,KV Cache 优化的是重复计算,Prefix Cache 优化的是跨请求复用。
对 Agent 工程而言,Prompt 的组织顺序不再只是影响回答质量的设计细节,也可能直接影响缓存命中率、首 Token 延迟和部署成本。
参考资料
更多推荐



所有评论(0)