张量并行(TP)深度解析——如何将一次矩阵运算拆分到多张 GPU 上?
一、为什么需要张量并行?
随着大语言模型参数规模不断增长,单张 GPU 面临着两个非常现实的问题:
-
显存容量不足: 模型参数、梯度、优化器状态以及激活值可能超过单张 GPU 的显存容量。
-
计算资源不足: 即使模型能够装进一张 GPU,单卡的计算能力和显存带宽也可能无法满足训练与推理的性能要求。
针对这些问题,我们前面学习了两种重要的解决方案。
-
数据并行(DDP): 每张 GPU 保存一份完整模型,不同 GPU 处理不同的数据,最后通过梯度同步实现协同训练。
-
ZeRO / FSDP: 将模型参数、梯度和优化器状态切分到不同 GPU 上,减少每张 GPU 需要承担的显存开销。
这两种技术虽然解决了显存和计算扩展问题,但有一个共同特点:
每张 GPU 执行的矩阵乘法,通常仍然是完整的矩阵运算。
那么,有没有办法直接把一次矩阵乘法拆开,让多张 GPU 同时参与同一个运算?
答案就是:张量并行(Tensor Parallelism,TP)。
张量并行不再只是将数据分给不同 GPU,或者将模型状态分散存储,而是直接将模型中的权重矩阵切分,让多张 GPU 分别完成同一个矩阵运算的不同部分,最后通过集合通信将计算结果组合起来。
从 AI Infra 的角度来看,TP 解决的是一个更底层的问题:
如何让多张 GPU 共同完成原本需要单张 GPU 执行的一次矩阵计算?
二、理解三种并行方式:数据、存储与计算
在深入 TP 之前,需要先区分 DDP、ZeRO 和 TP 的核心区别。
| 并行方式 | 核心切分对象 | 每张 GPU 保存什么 | 主要目的 |
|---|---|---|---|
| DDP | 数据 | 完整模型 | 提高训练吞吐量 |
| ZeRO / FSDP | 模型状态 | 部分模型状态 | 降低显存占用 |
| TP | 模型权重及计算 | 部分权重和对应计算结果 | 拆分单次矩阵运算 |
2.1 数据并行:切分数据
假设有 8 张 GPU,每张 GPU 都保存一份完整的模型。
当输入一个 Batch 时,系统将数据拆分成 8 份:
-
GPU 0 处理第一份数据;
-
GPU 1 处理第二份数据;
-
GPU 2 处理第三份数据;
-
以此类推。
每张 GPU 独立完成前向传播和反向传播,随后通过 AllReduce 同步梯度。
它的特点是:
每张 GPU 都拥有完整的模型,但处理不同的数据。
2.2 ZeRO / FSDP:切分模型状态
数据并行虽然能够提高吞吐量,但是每张 GPU 都要保存完整的模型状态,显存冗余比较明显。
ZeRO 通过分阶段切分模型状态,减少显存占用:
-
ZeRO-1:切分优化器状态;
-
ZeRO-2:切分优化器状态和梯度;
-
ZeRO-3:进一步切分模型参数。
以 ZeRO-3 为例,假设有 8 张 GPU,那么每张 GPU 平时只保存模型参数、梯度和优化器状态的一部分,需要计算某一层时,再通过 AllGather 获取对应参数。
需要注意,FSDP 和 ZeRO-3 并不是完全不能用于推理,它们同样可以通过参数分片和按需聚合实现模型运行,只是推理阶段没有梯度和优化器状态,使用它们的收益和通信特征会发生变化。
2.3 张量并行:切分计算
张量并行的思路与前面两种不同。
假设模型中存在一个较大的矩阵乘法:
Y = X × A
TP 会将矩阵 A 切分成多个部分,分配给不同 GPU。
例如:
-
GPU 0 负责计算矩阵的第一部分;
-
GPU 1 负责计算矩阵的第二部分;
-
GPU 2 负责计算矩阵的第三部分;
-
GPU 3 负责计算矩阵的第四部分。
最终,各 GPU 通过集合通信完成结果组合。
因此,TP 的核心不是让多张 GPU 分别运行完整模型,而是让多张 GPU 共同完成同一个模型算子。
这也是 TP 与 DDP、ZeRO 最本质的区别。
三、张量并行的两种核心切分方式
要理解 TP,首先需要掌握两个概念:
-
列并行(Column Parallel)
-
行并行(Row Parallel)
假设有一个矩阵乘法:
Y = X × A
其中:
-
X:输入矩阵,形状为 T × H;
-
A:权重矩阵,形状为 H × H';
-
Y:输出矩阵,形状为 T × H';
-
T:Token 数量;
-
H:隐藏层维度。
假设使用 2 张 GPU 进行张量并行。
3.1 列并行:Column Parallel
列并行的核心是:
将权重矩阵按照列方向切分。
原始权重矩阵 A 的形状为:
H × H'
使用两张 GPU 后,可以将其切分为:
-
GPU 0:A₀,形状为 H × H'/2;
-
GPU 1:A₁,形状为 H × H'/2。
输入矩阵 X 在两张 GPU 上各保留一份完整副本。
随后分别执行:
GPU 0:
Y₀ = X × A₀
GPU 1:
Y₁ = X × A₁
两张 GPU 得到的结果分别是完整输出矩阵 Y 的不同列。
因此:
Y = Concat(Y₀, Y₁)
这里需要特别理解一个问题:
为什么列并行的前向传播不需要通信?
因为每张 GPU 计算的是不同的输出列,各自得到的结果本身就是最终输出的一部分。
GPU 0 不需要等待 GPU 1 的计算结果,GPU 1 也不需要等待 GPU 0。
所以,列并行的前向计算可以独立完成,不需要通过 AllReduce 合并结果。
但是到了反向传播,情况就不一样了。
输入梯度的计算公式为:
dX = dY × Aᵀ
由于权重矩阵 A 被拆分成多个部分,因此每张 GPU 只能计算出输入梯度的一部分贡献。
最终需要进行求和:
dX = Σ dXᵢ
因此,列并行在反向传播阶段需要通过 AllReduce 将各 GPU 的输入梯度贡献合并。
3.2 行并行:Row Parallel
行并行与列并行正好相反。
它的核心是:
将权重矩阵按照行方向切分。
假设权重矩阵 A 的形状为 H × H'。
使用两张 GPU 后:
-
GPU 0:A₀,形状为 H/2 × H';
-
GPU 1:A₁,形状为 H/2 × H'。
由于权重矩阵按照行切分,因此输入矩阵 X 也需要按照对应的特征维度切分:
-
GPU 0 获取 X 的前一半特征;
-
GPU 1 获取 X 的后一半特征。
分别执行:
GPU 0:
Z₀ = X₀ × A₀
GPU 1:
Z₁ = X₁ × A₁
这里需要注意,两张 GPU 得到的并不是最终输出的不同列,而是同一个输出矩阵的部分累加结果。
因此:
Z = Z₀ + Z₁
必须通过 AllReduce 对各 GPU 的部分结果进行求和,才能得到完整输出。
这就是行并行与列并行最大的区别:
-
列并行:输出是不同的列,可以直接拼接。
-
行并行:输出是部分累加结果,必须进行求和。
在反向传播阶段,行并行可以利用已经分片的输入梯度进行局部计算,不需要额外的输入梯度 AllReduce。
3.3 两种切分方式对比
| 对比维度 | 列并行 | 行并行 |
|---|---|---|
| 权重切分方向 | 按列切分 | 按行切分 |
| 输入矩阵 | 每张卡完整保存 | 按特征维度切分 |
| 前向传播 | 不需要 AllReduce | 需要 AllReduce |
| 反向传播 | 需要 AllReduce | 不需要额外 AllReduce |
| 输出形式 | 不同列的局部结果 | 部分累加结果 |
理解这两种切分方式,是理解 Transformer 张量并行的基础。
四、Transformer 为什么要将两种并行方式配合使用?
如果只使用列并行或者行并行,都无法充分发挥 TP 的优势。
真正高效的做法,是将两种切分方式组合起来。
核心原因在于:
列并行的输出形式,恰好可以作为行并行的输入形式。
假设有两个连续的矩阵运算:
Y = X × A
Z = Y × B
第一个矩阵乘法采用列并行,得到的 Y 已经按照特征维度切分。
第二个矩阵乘法采用行并行,恰好需要这种分片后的输入。
因此,两个矩阵运算可以直接衔接,不需要在中间增加一次 AllGather,将 Y 重新拼接成完整矩阵。
这就是 TP 中非常重要的通信优化思想:
通过合理安排矩阵切分方向,减少不必要的数据聚合和重新分发。
4.1 Attention 模块中的张量并行
Transformer 的 Attention 模块主要包含:
-
Query 投影;
-
Key 投影;
-
Value 投影;
-
Attention 计算;
-
Output Projection。
首先,输入经过 Q、K、V 三个线性投影。
通常采用列并行,将不同的 Attention Head 分配给不同 GPU。
例如,Llama-3-8B 有 32 个 Query Head。
当 TP 并行度为 8 时,每张 GPU 可以负责 4 个 Query Head。
每张 GPU 独立完成自己负责的注意力头计算。
随后,Attention 输出经过 Output Projection。
这里采用行并行。
由于 Attention 输出已经按照 Head 维度分布在不同 GPU 上,因此可以直接进入行并行矩阵乘法,最后通过 AllReduce 合并结果。
这样就完成了一组:
列并行 → 行并行
4.2 FFN 模块中的张量并行
Transformer 的前馈网络 FFN 通常包含两个主要阶段:
-
Up Projection:扩展隐藏层维度;
-
Down Projection:将扩展后的维度映射回原始隐藏层维度。
对于采用门控结构的模型,例如 Llama,通常还包含 Gate Projection。
在 FFN 中:
-
Up / Gate Projection:采用列并行;
-
Down Projection:采用行并行。
同样形成:
列并行 → 行并行
4.3 一个 Transformer Block 的通信次数
在常见的 Megatron 风格张量并行实现中:
Attention 和 FFN 各有一组列并行与行并行配对。
因此,一个 Transformer Block 的前向传播通常需要:
-
Attention 输出阶段:1 次 AllReduce;
-
FFN 输出阶段:1 次 AllReduce。
合计 2 次。
反向传播中,列并行对应的输入梯度需要跨 GPU 求和,因此通常还需要 2 次 AllReduce。
所以:
-
前向传播:2 次;
-
反向传播:2 次;
-
前向与反向合计:4 次。
这里的次数是基于常见 TP 实现的逻辑通信次数。实际系统还可能采用 Reduce-Scatter、AllGather、Sequence Parallel 等优化方式,不能将所有实现都简单等同于相同数量的 AllReduce。
五、张量并行的通信成本:为什么通信如此重要?
张量并行最大的特点是:
通信发生在模型计算过程中,而不是等到整个 Batch 计算结束后才进行。
这意味着通信会直接影响下一步计算能否开始。
我们以 Llama-3-8B 为例,分析 TP 的通信成本。
模型的主要结构参数:
| 参数 | 数值 |
|---|---|
| Transformer 层数 | 32 |
| Hidden Size | 4096 |
| Query Head | 32 |
| KV Head | 8 |
| 模型参数量 | 约 8B |
按照前面计算的结果:
每个 Transformer Block 前向和反向合计需要 4 次集合通信。
那么,整个模型每个训练 Step 的通信次数为:
通信次数 = Transformer 层数 × 每层通信次数
= 32 × 4
= 128 次
也就是说,使用 TP=8 训练 Llama-3-8B 时,按照上述通信模型,一个训练 Step 需要经历约 128 次集合通信。
这还没有考虑其他额外的通信操作。
5.1 每次通信需要传输多少数据?
假设:
-
TP 并行度:8;
-
每张 GPU 的 Micro-Batch 包含 2048 个 Token;
-
Hidden Size:4096;
-
数据精度:BF16;
-
每个元素占用 2 Byte。
那么,一次需要进行集合通信的激活张量大小为:
D = Token 数量 × Hidden Size × 数据精度字节数
代入数据:
D = 2048 × 4096 × 2
D = 16,777,216 Byte
约等于 16.8 MB。
5.2 Ring AllReduce 通信量
在 Ring AllReduce 中,每张 GPU 需要经历两个阶段:
-
Reduce-Scatter:将数据分块传递并完成局部求和;
-
AllGather:将求和后的数据块重新分发。
对于 N 张 GPU,每张 GPU 在两个阶段中的发送量分别为:
Reduce-Scatter:
(N-1)/N × D
AllGather:
(N-1)/N × D
因此,每张 GPU 的累计发送量为:
V = 2 × (N-1)/N × D
当 N=8 时:
V = 2 × 7/8 × 16.8 MB
V = 29.4 MB
这里的 29.4 MB 指每张 GPU 在一次 Ring AllReduce 中累计发送的数据量;接收量在对称环形实现中也约为 29.4 MB。
因此,按照前面的 128 次通信估算:
V_total = 128 × 29.4 MB
V_total ≈ 3.76 GB
也就是说,在上述假设下,每张 GPU 每个训练 Step 需要发送约 3.76 GB 的集合通信数据。
5.3 TP 的通信量为什么会随着 Token 数量增加?
这是 TP 与数据并行非常值得对比的地方。
对于 TP:
通信对象主要是激活张量。
激活张量的大小取决于:
-
Token 数量;
-
Hidden Size;
-
数据精度。
因此:
TP 通信量 ∝ Token 数量 × Hidden Size
假设其他条件不变:
| 每卡 Token 数 | 每卡累计发送量 |
|---|---|
| 2048 | 约 3.76 GB |
| 4096 | 约 7.52 GB |
| 8192 | 约 15.04 GB |
可以发现,Token 数量增加一倍,通信量也会增加一倍。
如果 Hidden Size 同时从 4096 增加到 8192,那么通信量还会再增加一倍。
这说明:
TP 的通信成本与激活规模密切相关,而不是简单地由模型参数量决定。
这也是为什么在大 Batch、高隐藏层维度的场景中,需要格外关注 TP 的通信开销。
六、为什么张量并行通常优先部署在单机多卡环境?
理解 TP 的通信次数之后,就能理解为什么工程实践中通常优先将 TP 部署在同一台服务器内部。
这里需要先明确:
TP 并不是技术上绝对不能跨机器。
事实上,现代分布式训练和推理框架都支持跨节点张量并行。
但在大多数场景中,TP 优先使用单机 NVLink 高速互联,而不是直接跨机器使用 InfiniBand。
原因主要有三个。
6.1 通信带宽存在明显差异
以 NVIDIA H100 SXM 平台为例:
-
GPU 之间通过 NVLink 进行高速通信;
-
H100 SXM 的 NVLink 双向总带宽最高约为 900 GB/s;
-
跨节点可以通过 InfiniBand 等高速网络进行通信。
以 InfiniBand NDR 400 Gb/s 为例,理论链路速率折算约为 50 GB/s。
两者的带宽差异非常明显。
如果每次需要传输 29.4 MB 数据,简单按照峰值带宽估算:
机内 NVLink:
T = 29.4 MB / 900 GB/s
约为 33 微秒。
跨机 InfiniBand:
T = 29.4 MB / 50 GB/s
约为 588 微秒。
跨机通信的传输时间明显更长。
注意,这只是基于标称带宽的理想化估算,并不代表实际 NCCL 通信延迟。实际性能还受到协议、拓扑、消息大小、拥塞和软件开销影响。
6.2 通信发生在计算关键路径上
这才是 TP 最重要的性能问题。
在数据并行中,梯度同步通常可以与反向传播中的部分计算重叠。
例如,某一层的梯度已经计算完成,就可以开始进行梯度通信,同时 GPU 继续计算其他层的梯度。
这种方式称为:
通信与计算重叠(Communication-Compute Overlap)。
而 TP 不同。
在一个 Transformer Block 内部,Attention 和 FFN 都存在需要同步的计算结果。
如果某次 AllReduce 没有完成,后续依赖该结果的计算就无法继续。
因此,TP 通信经常处于计算关键路径上。
它不像部分数据并行通信那样,可以轻易隐藏在其他计算过程后面。
6.3 小消息通信存在启动延迟
很多人分析通信性能时,只关注带宽。
但实际上,通信耗时不仅由数据量决定,还包括通信启动开销。
可以使用一个简化模型理解:
通信时间 ≈ 启动延迟 + 数据传输时间
当传输数据量很大时,带宽是重要因素。
当传输数据量较小时,启动延迟可能占据主要部分。
TP 的特点是通信次数多,而且很多通信操作传输的数据量并不大。
假设一次通信启动开销为 5 微秒,那么 128 次通信仅启动开销就达到:
128 × 5 微秒 = 640 微秒
如果跨机通信的启动延迟更高,累计开销就会更加明显。
因此,TP 的性能不能只看网络峰值带宽,还必须关注:
通信次数、消息大小、启动延迟以及通信是否位于计算关键路径。
这也是 TP 通常优先采用单机高速互联的根本原因。
七、张量并行在推理阶段为什么同样重要?
前面主要从训练角度理解 TP。
但实际上,TP 在大模型推理服务中同样具有非常重要的作用。
甚至可以说,TP 是大模型推理基础设施中最常见的并行技术之一。
7.1 为什么推理阶段需要 TP?
先看模型权重的显存占用。
假设使用 BF16 精度,每个参数占用 2 Byte。
那么:
8B 模型:
8 × 10⁹ × 2 Byte ≈ 16 GB
70B 模型:
70 × 10⁹ × 2 Byte ≈ 140 GB
如果使用一张 80 GB H100:
-
8B 模型的权重可以直接装入显存;
-
70B 模型的权重无法完整装入显存。
当然,实际推理还需要考虑 KV Cache、运行时缓冲区、CUDA Graph 等显存开销,因此并不能简单认为权重小于 80 GB 就一定可以运行。
对于 70B 模型,可以使用 TP=2、TP=4 或 TP=8,将模型权重切分到多张 GPU 上。
例如:
TP=4:
每张 GPU 负责约 35 GB 的模型权重。
这样就能将原本无法装入单张 GPU 的模型部署到多卡环境中。
7.2 为什么 TP 能够提高推理速度?
除了让模型装得下,TP 还可以提高 GPU 的显存带宽利用效率。
大模型 Decode 阶段具有一个非常明显的特点:
每生成一个 Token,都需要模型权重参与计算。
对于 Batch 较小的场景,Decode 往往受到显存带宽限制。
假设 8B 模型使用 BF16:
完整权重约 16 GB。
如果使用 8 张 GPU 进行 TP:
每张 GPU 只需要读取约 2 GB 的权重。
以 H100 SXM 约 3.35 TB/s 的显存带宽进行理想化估算:
单卡完整读取:
16 GB / 3.35 TB/s ≈ 4.78 ms
TP=8:
2 GB / 3.35 TB/s ≈ 0.60 ms
理论上,权重读取时间可以缩短到原来的八分之一。
但这里有一个非常重要的限制:
TP 并不是没有代价的。
每个 Transformer Block 都存在跨 GPU 通信,通信启动延迟会影响 Decode 性能。
因此,实际推理加速比通常达不到理论上的 8 倍。
而且,实际推理还需要考虑 KV Cache 访问、计算时间、内核启动、调度以及批处理策略。
7.3 Prefill 与 Decode 阶段的区别
大模型推理通常分为两个阶段:
Prefill:提示词处理阶段
Prefill 阶段会一次性处理输入 Prompt 中的大量 Token。
其主要特点:
-
输入 Token 数量较多;
-
计算矩阵规模较大;
-
GPU 计算利用率较高;
-
更容易受到计算能力限制。
因此,TP 在 Prefill 阶段可以通过多 GPU 分担矩阵计算,提高计算吞吐量。
Decode:逐 Token 生成阶段
Decode 阶段每次通常生成一个新的 Token。
其主要特点:
-
每一步生成少量 Token;
-
需要反复读取模型权重;
-
对显存带宽非常敏感;
-
小消息通信的启动延迟更加明显。
因此,TP 在 Decode 阶段的优势主要体现在权重分片和显存带宽利用上,但通信延迟也会更加突出。
| 对比维度 | Prefill | Decode |
|---|---|---|
| 输入特点 | 一次处理大量 Token | 逐 Token 生成 |
| 主要瓶颈 | 通常偏计算受限 | 通常偏访存受限 |
| TP 的主要价值 | 拆分矩阵计算 | 分摊权重读取 |
| 通信影响 | 相对容易被计算掩盖 | 小消息启动延迟更加明显 |
7.4 为什么不是 TP 并行度越大越好?
假设一台服务器有 8 张 GPU。
对于 70B 模型,BF16 权重约 140 GB。
如果采用 TP=4:
每张 GPU 需要承担:
140 GB / 4 = 35 GB
如果采用 TP=8:
每张 GPU 需要承担:
140 GB / 8 = 17.5 GB
两种方案都能满足权重显存需求。
但是 TP=8 并不一定比 TP=4 更好。
原因包括:
-
TP 并行度越大,单张 GPU 承担的计算任务越少。
-
矩阵切分过细,可能导致单卡矩阵规模太小,GPU 计算资源无法充分利用。
-
更多 GPU 参与同一个计算过程,可能带来更高的通信开销。
-
TP 的通信启动延迟会影响每一层的执行时间。
因此,在实际推理部署中,经常采用:
尽可能使用满足显存需求的最小 TP 并行度,剩余 GPU 用于部署模型副本。
例如,8 张 GPU 部署 70B 模型,可以考虑:
-
第一组:4 张 GPU,TP=4;
-
第二组:4 张 GPU,TP=4。
这样就形成了两组独立的模型副本。
每组都能独立处理请求,可以进一步提高服务吞吐量。
这也体现了大模型推理部署中的一个重要思想:
模型能装得下只是第一步,如何在模型并行和服务副本之间取得平衡,才是真正的工程优化问题。
八、张量并行需要注意的三个工程问题
8.1 并行度必须满足模型维度的切分要求
TP 并行度不是随便设置的。
它受到模型结构的约束。
例如,Llama-3-8B:
-
Hidden Size:4096;
-
Query Head:32;
-
KV Head:8。
如果 TP=8:
每张 GPU 分配:
Query Head:
32 / 8 = 4 个。
KV Head:
8 / 8 = 1 个。
这种配置可以满足常见 GQA 张量并行切分要求。
如果 TP=16:
Query Head:
32 / 16 = 2 个。
KV Head:
8 / 16 = 0.5 个。
KV Head 无法按照这种方式均匀切分。
因此,对于常见的 GQA 实现,KV Head 数量会对 TP 并行度形成约束。
需要注意,部分框架支持 KV Head 复制等特殊策略,所以这并不是所有实现都绝对无法突破的限制。
8.2 TP 并行度越大,单卡计算规模越小
假设原本一个矩阵乘法需要单张 GPU 完成。
当 TP=8 时,每张 GPU 只负责其中一部分计算。
虽然 GPU 数量增加了,但每张 GPU 实际执行的矩阵规模也变小了。
如果矩阵规模过小,就可能出现:
-
GPU 计算单元利用率下降;
-
Tensor Core 无法充分发挥性能;
-
Kernel 启动和调度开销占比上升;
-
通信开销超过计算收益。
所以,TP 并不是 GPU 数量越多越好。
实际并行度需要结合模型结构、GPU 互联拓扑、Batch Size 和算子执行效率进行评估。
8.3 不要混淆 TP 与 DDP 的梯度同步
这是一个非常容易混淆的知识点。
在 DDP 中:
每张 GPU 保存完整模型的副本。
不同 GPU 处理不同数据,因此同一参数会产生不同的梯度。
这些梯度需要通过 AllReduce 进行同步。
而在 TP 中:
每张 GPU 保存的是不同的权重分片。
每张 GPU 计算自己负责权重的梯度。
不同 GPU 的权重本身并不是同一份参数,因此不需要像 DDP 那样对这些权重梯度进行全局求和。
真正需要通信的是:
-
不同分片计算所产生的输入梯度;
-
行并行中的部分输出结果。
当然,在 TP 与 DP 混合使用的场景中,同一 TP 分片在不同数据并行副本之间仍然需要进行梯度同步。
所以要记住:
TP 主要解决同一模型内部的计算切分,DP 主要解决不同数据副本之间的梯度同步。
九、TP、PP、DP 如何组合?
学习到这里,就能发现:
DDP、ZeRO、TP 各自解决的问题并不完全相同。
而在真正的大模型训练与推理系统中,往往需要多种并行方式协同工作。
接下来还需要认识一种非常重要的并行方式:
流水线并行(Pipeline Parallelism,PP)。
它与 TP 最大的区别在于切分维度不同。
-
TP:按照矩阵维度切分,将同一层的计算分配给不同 GPU。
-
PP:按照模型层数切分,将不同 Transformer Block 分配给不同 GPU。
-
DP:按照数据维度切分,不同 GPU 处理不同数据。
-
ZeRO / FSDP:按照模型状态进行分片,降低显存冗余。
举个例子:
假设一个模型有 32 个 Transformer Block,使用 4 张 GPU 进行 PP:
-
GPU 0:负责第 1~8 层;
-
GPU 1:负责第 9~16 层;
-
GPU 2:负责第 17~24 层;
-
GPU 3:负责第 25~32 层。
输入数据依次经过四张 GPU,完成整个模型的前向计算。
PP 的优势是可以将模型按层拆分,适合跨机器扩展。
但它也存在一个问题:
当某张 GPU 正在计算时,其他 GPU 可能处于等待状态,这种空闲时间称为流水线气泡(Pipeline Bubble)。
下一篇将重点研究这个问题。
十、今日总结
今天学习张量并行,最重要的不是记住 Column Parallel 和 Row Parallel 这两个英文单词,而是理解它背后的计算逻辑。
我认为可以从三个层面总结。
第一,张量并行改变了模型的计算方式。
DDP 切分的是数据,ZeRO / FSDP 切分的是模型状态,而 TP 直接切分权重矩阵和计算过程,让多张 GPU 共同完成一次矩阵运算。
第二,张量并行的核心难点是通信。
通过列并行与行并行的组合,可以减少不必要的数据聚合。但每个 Transformer Block 仍然需要多次集合通信,而且通信往往处于计算关键路径上。因此,TP 对 GPU 之间的互联带宽和通信延迟非常敏感。
第三,张量并行是大模型推理的重要基础技术。
当模型参数无法装入单张 GPU 时,可以通过 TP 将权重分布到多张 GPU 上。同时,它还能分摊权重读取压力,提高多卡协同计算能力。但 TP 并不是越大越好,必须综合考虑显存容量、计算效率和通信成本。
从 AI Infra 的整体架构来看,TP 解决的是单层计算如何扩展的问题,而 PP 解决的是整个模型如何跨 GPU、跨机器扩展的问题。
两者结合,才构成了大模型分布式计算的重要基础。
参考资料与计算说明
硬件资料:
-
NVIDIA H100 SXM:80 GB HBM3 显存;
-
HBM 显存带宽:约 3.35 TB/s;
-
NVLink 双向总带宽:最高约 900 GB/s;
-
InfiniBand NDR 400 Gb/s:理论链路速率约 50 GB/s。
模型资料:
-
Meta Llama 3 8B:32 层 Transformer、Hidden Size 4096、32 个 Query Head、8 个 KV Head;
-
Meta Llama 3 70B:80 层 Transformer、Hidden Size 8192、64 个 Query Head、8 个 KV Head。
技术参考:
-
NVIDIA Megatron-LM:张量并行及模型并行实现;
-
PyTorch Distributed:分布式集合通信;
-
NVIDIA NCCL:GPU 集合通信库;
-
vLLM:大语言模型高性能推理框架。
本文计算口径:
本文中的通信量和耗时主要用于解释 TP 的性能规律,采用理想化带宽和通信启动延迟进行估算。实际部署需要通过 NCCL Tests、模型 Profile 和真实推理负载进行验证。
特别需要区分训练与推理:本文的 128 次通信是按照每层前向 2 次、反向 2 次计算得到的训练口径。对于只执行前向传播的标准 TP 推理,同样假设每层前向需要 2 次集合通信,那么 32 层对应约 64 次,而不是 128 次。
实际通信次数还会受到框架实现、Sequence Parallel、通信融合和算子调度方式的影响。
更多推荐

所有评论(0)