一、为什么需要张量并行?

随着大语言模型参数规模不断增长,单张 GPU 面临着两个非常现实的问题:

  1. 显存容量不足: 模型参数、梯度、优化器状态以及激活值可能超过单张 GPU 的显存容量。

  2. 计算资源不足: 即使模型能够装进一张 GPU,单卡的计算能力和显存带宽也可能无法满足训练与推理的性能要求。

针对这些问题,我们前面学习了两种重要的解决方案。

  • 数据并行(DDP): 每张 GPU 保存一份完整模型,不同 GPU 处理不同的数据,最后通过梯度同步实现协同训练。

  • ZeRO / FSDP: 将模型参数、梯度和优化器状态切分到不同 GPU 上,减少每张 GPU 需要承担的显存开销。

这两种技术虽然解决了显存和计算扩展问题,但有一个共同特点:

每张 GPU 执行的矩阵乘法,通常仍然是完整的矩阵运算。

那么,有没有办法直接把一次矩阵乘法拆开,让多张 GPU 同时参与同一个运算?

答案就是:张量并行(Tensor Parallelism,TP)。

张量并行不再只是将数据分给不同 GPU,或者将模型状态分散存储,而是直接将模型中的权重矩阵切分,让多张 GPU 分别完成同一个矩阵运算的不同部分,最后通过集合通信将计算结果组合起来。

从 AI Infra 的角度来看,TP 解决的是一个更底层的问题:

如何让多张 GPU 共同完成原本需要单张 GPU 执行的一次矩阵计算?


二、理解三种并行方式:数据、存储与计算

在深入 TP 之前,需要先区分 DDP、ZeRO 和 TP 的核心区别。

并行方式核心切分对象每张 GPU 保存什么主要目的
DDP数据完整模型提高训练吞吐量
ZeRO / FSDP模型状态部分模型状态降低显存占用
TP模型权重及计算部分权重和对应计算结果拆分单次矩阵运算

2.1 数据并行:切分数据

假设有 8 张 GPU,每张 GPU 都保存一份完整的模型。

当输入一个 Batch 时,系统将数据拆分成 8 份:

  • GPU 0 处理第一份数据;

  • GPU 1 处理第二份数据;

  • GPU 2 处理第三份数据;

  • 以此类推。

每张 GPU 独立完成前向传播和反向传播,随后通过 AllReduce 同步梯度。

它的特点是:

每张 GPU 都拥有完整的模型,但处理不同的数据。

2.2 ZeRO / FSDP:切分模型状态

数据并行虽然能够提高吞吐量,但是每张 GPU 都要保存完整的模型状态,显存冗余比较明显。

ZeRO 通过分阶段切分模型状态,减少显存占用:

  • ZeRO-1:切分优化器状态;

  • ZeRO-2:切分优化器状态和梯度;

  • ZeRO-3:进一步切分模型参数。

以 ZeRO-3 为例,假设有 8 张 GPU,那么每张 GPU 平时只保存模型参数、梯度和优化器状态的一部分,需要计算某一层时,再通过 AllGather 获取对应参数。

需要注意,FSDP 和 ZeRO-3 并不是完全不能用于推理,它们同样可以通过参数分片和按需聚合实现模型运行,只是推理阶段没有梯度和优化器状态,使用它们的收益和通信特征会发生变化。

2.3 张量并行:切分计算

张量并行的思路与前面两种不同。

假设模型中存在一个较大的矩阵乘法:

Y = X × A

TP 会将矩阵 A 切分成多个部分,分配给不同 GPU。

例如:

  • GPU 0 负责计算矩阵的第一部分;

  • GPU 1 负责计算矩阵的第二部分;

  • GPU 2 负责计算矩阵的第三部分;

  • GPU 3 负责计算矩阵的第四部分。

最终,各 GPU 通过集合通信完成结果组合。

因此,TP 的核心不是让多张 GPU 分别运行完整模型,而是让多张 GPU 共同完成同一个模型算子。

这也是 TP 与 DDP、ZeRO 最本质的区别。


三、张量并行的两种核心切分方式

要理解 TP,首先需要掌握两个概念:

  1. 列并行(Column Parallel)

  2. 行并行(Row Parallel)

假设有一个矩阵乘法:

Y = X × A

其中:

  • X:输入矩阵,形状为 T × H;

  • A:权重矩阵,形状为 H × H';

  • Y:输出矩阵,形状为 T × H';

  • T:Token 数量;

  • H:隐藏层维度。

假设使用 2 张 GPU 进行张量并行。

3.1 列并行:Column Parallel

列并行的核心是:

将权重矩阵按照列方向切分。

原始权重矩阵 A 的形状为:

H × H'

使用两张 GPU 后,可以将其切分为:

  • GPU 0:A₀,形状为 H × H'/2;

  • GPU 1:A₁,形状为 H × H'/2。

输入矩阵 X 在两张 GPU 上各保留一份完整副本。

随后分别执行:

GPU 0:

Y₀ = X × A₀

GPU 1:

Y₁ = X × A₁

两张 GPU 得到的结果分别是完整输出矩阵 Y 的不同列。

因此:

Y = Concat(Y₀, Y₁)

这里需要特别理解一个问题:

为什么列并行的前向传播不需要通信?

因为每张 GPU 计算的是不同的输出列,各自得到的结果本身就是最终输出的一部分。

GPU 0 不需要等待 GPU 1 的计算结果,GPU 1 也不需要等待 GPU 0。

所以,列并行的前向计算可以独立完成,不需要通过 AllReduce 合并结果。

但是到了反向传播,情况就不一样了。

输入梯度的计算公式为:

dX = dY × Aᵀ

由于权重矩阵 A 被拆分成多个部分,因此每张 GPU 只能计算出输入梯度的一部分贡献。

最终需要进行求和:

dX = Σ dXᵢ

因此,列并行在反向传播阶段需要通过 AllReduce 将各 GPU 的输入梯度贡献合并。

3.2 行并行:Row Parallel

行并行与列并行正好相反。

它的核心是:

将权重矩阵按照行方向切分。

假设权重矩阵 A 的形状为 H × H'。

使用两张 GPU 后:

  • GPU 0:A₀,形状为 H/2 × H';

  • GPU 1:A₁,形状为 H/2 × H'。

由于权重矩阵按照行切分,因此输入矩阵 X 也需要按照对应的特征维度切分:

  • GPU 0 获取 X 的前一半特征;

  • GPU 1 获取 X 的后一半特征。

分别执行:

GPU 0:

Z₀ = X₀ × A₀

GPU 1:

Z₁ = X₁ × A₁

这里需要注意,两张 GPU 得到的并不是最终输出的不同列,而是同一个输出矩阵的部分累加结果。

因此:

Z = Z₀ + Z₁

必须通过 AllReduce 对各 GPU 的部分结果进行求和,才能得到完整输出。

这就是行并行与列并行最大的区别:

  • 列并行:输出是不同的列,可以直接拼接。

  • 行并行:输出是部分累加结果,必须进行求和。

在反向传播阶段,行并行可以利用已经分片的输入梯度进行局部计算,不需要额外的输入梯度 AllReduce。

3.3 两种切分方式对比

对比维度列并行行并行
权重切分方向按列切分按行切分
输入矩阵每张卡完整保存按特征维度切分
前向传播不需要 AllReduce需要 AllReduce
反向传播需要 AllReduce不需要额外 AllReduce
输出形式不同列的局部结果部分累加结果

理解这两种切分方式,是理解 Transformer 张量并行的基础。


四、Transformer 为什么要将两种并行方式配合使用?

如果只使用列并行或者行并行,都无法充分发挥 TP 的优势。

真正高效的做法,是将两种切分方式组合起来。

核心原因在于:

列并行的输出形式,恰好可以作为行并行的输入形式。

假设有两个连续的矩阵运算:

Y = X × A

Z = Y × B

第一个矩阵乘法采用列并行,得到的 Y 已经按照特征维度切分。

第二个矩阵乘法采用行并行,恰好需要这种分片后的输入。

因此,两个矩阵运算可以直接衔接,不需要在中间增加一次 AllGather,将 Y 重新拼接成完整矩阵。

这就是 TP 中非常重要的通信优化思想:

通过合理安排矩阵切分方向,减少不必要的数据聚合和重新分发。

4.1 Attention 模块中的张量并行

Transformer 的 Attention 模块主要包含:

  1. Query 投影;

  2. Key 投影;

  3. Value 投影;

  4. Attention 计算;

  5. Output Projection。

首先,输入经过 Q、K、V 三个线性投影。

通常采用列并行,将不同的 Attention Head 分配给不同 GPU。

例如,Llama-3-8B 有 32 个 Query Head。

当 TP 并行度为 8 时,每张 GPU 可以负责 4 个 Query Head。

每张 GPU 独立完成自己负责的注意力头计算。

随后,Attention 输出经过 Output Projection。

这里采用行并行。

由于 Attention 输出已经按照 Head 维度分布在不同 GPU 上,因此可以直接进入行并行矩阵乘法,最后通过 AllReduce 合并结果。

这样就完成了一组:

列并行 → 行并行

4.2 FFN 模块中的张量并行

Transformer 的前馈网络 FFN 通常包含两个主要阶段:

  • Up Projection:扩展隐藏层维度;

  • Down Projection:将扩展后的维度映射回原始隐藏层维度。

对于采用门控结构的模型,例如 Llama,通常还包含 Gate Projection。

在 FFN 中:

  • Up / Gate Projection:采用列并行;

  • Down Projection:采用行并行。

同样形成:

列并行 → 行并行

4.3 一个 Transformer Block 的通信次数

在常见的 Megatron 风格张量并行实现中:

Attention 和 FFN 各有一组列并行与行并行配对。

因此,一个 Transformer Block 的前向传播通常需要:

  • Attention 输出阶段:1 次 AllReduce;

  • FFN 输出阶段:1 次 AllReduce。

合计 2 次。

反向传播中,列并行对应的输入梯度需要跨 GPU 求和,因此通常还需要 2 次 AllReduce。

所以:

  • 前向传播:2 次;

  • 反向传播:2 次;

  • 前向与反向合计:4 次。

这里的次数是基于常见 TP 实现的逻辑通信次数。实际系统还可能采用 Reduce-Scatter、AllGather、Sequence Parallel 等优化方式,不能将所有实现都简单等同于相同数量的 AllReduce。


五、张量并行的通信成本:为什么通信如此重要?

张量并行最大的特点是:

通信发生在模型计算过程中,而不是等到整个 Batch 计算结束后才进行。

这意味着通信会直接影响下一步计算能否开始。

我们以 Llama-3-8B 为例,分析 TP 的通信成本。

模型的主要结构参数:

参数数值
Transformer 层数32
Hidden Size4096
Query Head32
KV Head8
模型参数量约 8B

按照前面计算的结果:

每个 Transformer Block 前向和反向合计需要 4 次集合通信。

那么,整个模型每个训练 Step 的通信次数为:

通信次数 = Transformer 层数 × 每层通信次数

= 32 × 4

= 128 次

也就是说,使用 TP=8 训练 Llama-3-8B 时,按照上述通信模型,一个训练 Step 需要经历约 128 次集合通信。

这还没有考虑其他额外的通信操作。

5.1 每次通信需要传输多少数据?

假设:

  • TP 并行度:8;

  • 每张 GPU 的 Micro-Batch 包含 2048 个 Token;

  • Hidden Size:4096;

  • 数据精度:BF16;

  • 每个元素占用 2 Byte。

那么,一次需要进行集合通信的激活张量大小为:

D = Token 数量 × Hidden Size × 数据精度字节数

代入数据:

D = 2048 × 4096 × 2

D = 16,777,216 Byte

约等于 16.8 MB。

5.2 Ring AllReduce 通信量

在 Ring AllReduce 中,每张 GPU 需要经历两个阶段:

  1. Reduce-Scatter:将数据分块传递并完成局部求和;

  2. AllGather:将求和后的数据块重新分发。

对于 N 张 GPU,每张 GPU 在两个阶段中的发送量分别为:

Reduce-Scatter:

(N-1)/N × D

AllGather:

(N-1)/N × D

因此,每张 GPU 的累计发送量为:

V = 2 × (N-1)/N × D

当 N=8 时:

V = 2 × 7/8 × 16.8 MB

V = 29.4 MB

这里的 29.4 MB 指每张 GPU 在一次 Ring AllReduce 中累计发送的数据量;接收量在对称环形实现中也约为 29.4 MB。

因此,按照前面的 128 次通信估算:

V_total = 128 × 29.4 MB

V_total ≈ 3.76 GB

也就是说,在上述假设下,每张 GPU 每个训练 Step 需要发送约 3.76 GB 的集合通信数据。

5.3 TP 的通信量为什么会随着 Token 数量增加?

这是 TP 与数据并行非常值得对比的地方。

对于 TP:

通信对象主要是激活张量。

激活张量的大小取决于:

  • Token 数量;

  • Hidden Size;

  • 数据精度。

因此:

TP 通信量 ∝ Token 数量 × Hidden Size

假设其他条件不变:

每卡 Token 数每卡累计发送量
2048约 3.76 GB
4096约 7.52 GB
8192约 15.04 GB

可以发现,Token 数量增加一倍,通信量也会增加一倍。

如果 Hidden Size 同时从 4096 增加到 8192,那么通信量还会再增加一倍。

这说明:

TP 的通信成本与激活规模密切相关,而不是简单地由模型参数量决定。

这也是为什么在大 Batch、高隐藏层维度的场景中,需要格外关注 TP 的通信开销。


六、为什么张量并行通常优先部署在单机多卡环境?

理解 TP 的通信次数之后,就能理解为什么工程实践中通常优先将 TP 部署在同一台服务器内部。

这里需要先明确:

TP 并不是技术上绝对不能跨机器。

事实上,现代分布式训练和推理框架都支持跨节点张量并行。

但在大多数场景中,TP 优先使用单机 NVLink 高速互联,而不是直接跨机器使用 InfiniBand。

原因主要有三个。

6.1 通信带宽存在明显差异

以 NVIDIA H100 SXM 平台为例:

  • GPU 之间通过 NVLink 进行高速通信;

  • H100 SXM 的 NVLink 双向总带宽最高约为 900 GB/s;

  • 跨节点可以通过 InfiniBand 等高速网络进行通信。

以 InfiniBand NDR 400 Gb/s 为例,理论链路速率折算约为 50 GB/s。

两者的带宽差异非常明显。

如果每次需要传输 29.4 MB 数据,简单按照峰值带宽估算:

机内 NVLink:

T = 29.4 MB / 900 GB/s

约为 33 微秒。

跨机 InfiniBand:

T = 29.4 MB / 50 GB/s

约为 588 微秒。

跨机通信的传输时间明显更长。

注意,这只是基于标称带宽的理想化估算,并不代表实际 NCCL 通信延迟。实际性能还受到协议、拓扑、消息大小、拥塞和软件开销影响。

6.2 通信发生在计算关键路径上

这才是 TP 最重要的性能问题。

在数据并行中,梯度同步通常可以与反向传播中的部分计算重叠。

例如,某一层的梯度已经计算完成,就可以开始进行梯度通信,同时 GPU 继续计算其他层的梯度。

这种方式称为:

通信与计算重叠(Communication-Compute Overlap)。

而 TP 不同。

在一个 Transformer Block 内部,Attention 和 FFN 都存在需要同步的计算结果。

如果某次 AllReduce 没有完成,后续依赖该结果的计算就无法继续。

因此,TP 通信经常处于计算关键路径上。

它不像部分数据并行通信那样,可以轻易隐藏在其他计算过程后面。

6.3 小消息通信存在启动延迟

很多人分析通信性能时,只关注带宽。

但实际上,通信耗时不仅由数据量决定,还包括通信启动开销。

可以使用一个简化模型理解:

通信时间 ≈ 启动延迟 + 数据传输时间

当传输数据量很大时,带宽是重要因素。

当传输数据量较小时,启动延迟可能占据主要部分。

TP 的特点是通信次数多,而且很多通信操作传输的数据量并不大。

假设一次通信启动开销为 5 微秒,那么 128 次通信仅启动开销就达到:

128 × 5 微秒 = 640 微秒

如果跨机通信的启动延迟更高,累计开销就会更加明显。

因此,TP 的性能不能只看网络峰值带宽,还必须关注:

通信次数、消息大小、启动延迟以及通信是否位于计算关键路径。

这也是 TP 通常优先采用单机高速互联的根本原因。


七、张量并行在推理阶段为什么同样重要?

前面主要从训练角度理解 TP。

但实际上,TP 在大模型推理服务中同样具有非常重要的作用。

甚至可以说,TP 是大模型推理基础设施中最常见的并行技术之一。

7.1 为什么推理阶段需要 TP?

先看模型权重的显存占用。

假设使用 BF16 精度,每个参数占用 2 Byte。

那么:

8B 模型:

8 × 10⁹ × 2 Byte ≈ 16 GB

70B 模型:

70 × 10⁹ × 2 Byte ≈ 140 GB

如果使用一张 80 GB H100:

  • 8B 模型的权重可以直接装入显存;

  • 70B 模型的权重无法完整装入显存。

当然,实际推理还需要考虑 KV Cache、运行时缓冲区、CUDA Graph 等显存开销,因此并不能简单认为权重小于 80 GB 就一定可以运行。

对于 70B 模型,可以使用 TP=2、TP=4 或 TP=8,将模型权重切分到多张 GPU 上。

例如:

TP=4:

每张 GPU 负责约 35 GB 的模型权重。

这样就能将原本无法装入单张 GPU 的模型部署到多卡环境中。

7.2 为什么 TP 能够提高推理速度?

除了让模型装得下,TP 还可以提高 GPU 的显存带宽利用效率。

大模型 Decode 阶段具有一个非常明显的特点:

每生成一个 Token,都需要模型权重参与计算。

对于 Batch 较小的场景,Decode 往往受到显存带宽限制。

假设 8B 模型使用 BF16:

完整权重约 16 GB。

如果使用 8 张 GPU 进行 TP:

每张 GPU 只需要读取约 2 GB 的权重。

以 H100 SXM 约 3.35 TB/s 的显存带宽进行理想化估算:

单卡完整读取:

16 GB / 3.35 TB/s ≈ 4.78 ms

TP=8:

2 GB / 3.35 TB/s ≈ 0.60 ms

理论上,权重读取时间可以缩短到原来的八分之一。

但这里有一个非常重要的限制:

TP 并不是没有代价的。

每个 Transformer Block 都存在跨 GPU 通信,通信启动延迟会影响 Decode 性能。

因此,实际推理加速比通常达不到理论上的 8 倍。

而且,实际推理还需要考虑 KV Cache 访问、计算时间、内核启动、调度以及批处理策略。

7.3 Prefill 与 Decode 阶段的区别

大模型推理通常分为两个阶段:

Prefill:提示词处理阶段

Prefill 阶段会一次性处理输入 Prompt 中的大量 Token。

其主要特点:

  • 输入 Token 数量较多;

  • 计算矩阵规模较大;

  • GPU 计算利用率较高;

  • 更容易受到计算能力限制。

因此,TP 在 Prefill 阶段可以通过多 GPU 分担矩阵计算,提高计算吞吐量。

Decode:逐 Token 生成阶段

Decode 阶段每次通常生成一个新的 Token。

其主要特点:

  • 每一步生成少量 Token;

  • 需要反复读取模型权重;

  • 对显存带宽非常敏感;

  • 小消息通信的启动延迟更加明显。

因此,TP 在 Decode 阶段的优势主要体现在权重分片和显存带宽利用上,但通信延迟也会更加突出。

对比维度PrefillDecode
输入特点一次处理大量 Token逐 Token 生成
主要瓶颈通常偏计算受限通常偏访存受限
TP 的主要价值拆分矩阵计算分摊权重读取
通信影响相对容易被计算掩盖小消息启动延迟更加明显

7.4 为什么不是 TP 并行度越大越好?

假设一台服务器有 8 张 GPU。

对于 70B 模型,BF16 权重约 140 GB。

如果采用 TP=4:

每张 GPU 需要承担:

140 GB / 4 = 35 GB

如果采用 TP=8:

每张 GPU 需要承担:

140 GB / 8 = 17.5 GB

两种方案都能满足权重显存需求。

但是 TP=8 并不一定比 TP=4 更好。

原因包括:

  1. TP 并行度越大,单张 GPU 承担的计算任务越少。

  2. 矩阵切分过细,可能导致单卡矩阵规模太小,GPU 计算资源无法充分利用。

  3. 更多 GPU 参与同一个计算过程,可能带来更高的通信开销。

  4. TP 的通信启动延迟会影响每一层的执行时间。

因此,在实际推理部署中,经常采用:

尽可能使用满足显存需求的最小 TP 并行度,剩余 GPU 用于部署模型副本。

例如,8 张 GPU 部署 70B 模型,可以考虑:

  • 第一组:4 张 GPU,TP=4;

  • 第二组:4 张 GPU,TP=4。

这样就形成了两组独立的模型副本。

每组都能独立处理请求,可以进一步提高服务吞吐量。

这也体现了大模型推理部署中的一个重要思想:

模型能装得下只是第一步,如何在模型并行和服务副本之间取得平衡,才是真正的工程优化问题。


八、张量并行需要注意的三个工程问题

8.1 并行度必须满足模型维度的切分要求

TP 并行度不是随便设置的。

它受到模型结构的约束。

例如,Llama-3-8B:

  • Hidden Size:4096;

  • Query Head:32;

  • KV Head:8。

如果 TP=8:

每张 GPU 分配:

Query Head:

32 / 8 = 4 个。

KV Head:

8 / 8 = 1 个。

这种配置可以满足常见 GQA 张量并行切分要求。

如果 TP=16:

Query Head:

32 / 16 = 2 个。

KV Head:

8 / 16 = 0.5 个。

KV Head 无法按照这种方式均匀切分。

因此,对于常见的 GQA 实现,KV Head 数量会对 TP 并行度形成约束。

需要注意,部分框架支持 KV Head 复制等特殊策略,所以这并不是所有实现都绝对无法突破的限制。

8.2 TP 并行度越大,单卡计算规模越小

假设原本一个矩阵乘法需要单张 GPU 完成。

当 TP=8 时,每张 GPU 只负责其中一部分计算。

虽然 GPU 数量增加了,但每张 GPU 实际执行的矩阵规模也变小了。

如果矩阵规模过小,就可能出现:

  • GPU 计算单元利用率下降;

  • Tensor Core 无法充分发挥性能;

  • Kernel 启动和调度开销占比上升;

  • 通信开销超过计算收益。

所以,TP 并不是 GPU 数量越多越好。

实际并行度需要结合模型结构、GPU 互联拓扑、Batch Size 和算子执行效率进行评估。

8.3 不要混淆 TP 与 DDP 的梯度同步

这是一个非常容易混淆的知识点。

在 DDP 中:

每张 GPU 保存完整模型的副本。

不同 GPU 处理不同数据,因此同一参数会产生不同的梯度。

这些梯度需要通过 AllReduce 进行同步。

而在 TP 中:

每张 GPU 保存的是不同的权重分片。

每张 GPU 计算自己负责权重的梯度。

不同 GPU 的权重本身并不是同一份参数,因此不需要像 DDP 那样对这些权重梯度进行全局求和。

真正需要通信的是:

  • 不同分片计算所产生的输入梯度;

  • 行并行中的部分输出结果。

当然,在 TP 与 DP 混合使用的场景中,同一 TP 分片在不同数据并行副本之间仍然需要进行梯度同步。

所以要记住:

TP 主要解决同一模型内部的计算切分,DP 主要解决不同数据副本之间的梯度同步。


九、TP、PP、DP 如何组合?

学习到这里,就能发现:

DDP、ZeRO、TP 各自解决的问题并不完全相同。

而在真正的大模型训练与推理系统中,往往需要多种并行方式协同工作。

接下来还需要认识一种非常重要的并行方式:

流水线并行(Pipeline Parallelism,PP)。

它与 TP 最大的区别在于切分维度不同。

  • TP:按照矩阵维度切分,将同一层的计算分配给不同 GPU。

  • PP:按照模型层数切分,将不同 Transformer Block 分配给不同 GPU。

  • DP:按照数据维度切分,不同 GPU 处理不同数据。

  • ZeRO / FSDP:按照模型状态进行分片,降低显存冗余。

举个例子:

假设一个模型有 32 个 Transformer Block,使用 4 张 GPU 进行 PP:

  • GPU 0:负责第 1~8 层;

  • GPU 1:负责第 9~16 层;

  • GPU 2:负责第 17~24 层;

  • GPU 3:负责第 25~32 层。

输入数据依次经过四张 GPU,完成整个模型的前向计算。

PP 的优势是可以将模型按层拆分,适合跨机器扩展。

但它也存在一个问题:

当某张 GPU 正在计算时,其他 GPU 可能处于等待状态,这种空闲时间称为流水线气泡(Pipeline Bubble)。

下一篇将重点研究这个问题。


十、今日总结

今天学习张量并行,最重要的不是记住 Column Parallel 和 Row Parallel 这两个英文单词,而是理解它背后的计算逻辑。

我认为可以从三个层面总结。

第一,张量并行改变了模型的计算方式。

DDP 切分的是数据,ZeRO / FSDP 切分的是模型状态,而 TP 直接切分权重矩阵和计算过程,让多张 GPU 共同完成一次矩阵运算。

第二,张量并行的核心难点是通信。

通过列并行与行并行的组合,可以减少不必要的数据聚合。但每个 Transformer Block 仍然需要多次集合通信,而且通信往往处于计算关键路径上。因此,TP 对 GPU 之间的互联带宽和通信延迟非常敏感。

第三,张量并行是大模型推理的重要基础技术。

当模型参数无法装入单张 GPU 时,可以通过 TP 将权重分布到多张 GPU 上。同时,它还能分摊权重读取压力,提高多卡协同计算能力。但 TP 并不是越大越好,必须综合考虑显存容量、计算效率和通信成本。

从 AI Infra 的整体架构来看,TP 解决的是单层计算如何扩展的问题,而 PP 解决的是整个模型如何跨 GPU、跨机器扩展的问题。

两者结合,才构成了大模型分布式计算的重要基础。


参考资料与计算说明

硬件资料:

  • NVIDIA H100 SXM:80 GB HBM3 显存;

  • HBM 显存带宽:约 3.35 TB/s;

  • NVLink 双向总带宽:最高约 900 GB/s;

  • InfiniBand NDR 400 Gb/s:理论链路速率约 50 GB/s。

模型资料:

  • Meta Llama 3 8B:32 层 Transformer、Hidden Size 4096、32 个 Query Head、8 个 KV Head;

  • Meta Llama 3 70B:80 层 Transformer、Hidden Size 8192、64 个 Query Head、8 个 KV Head。

技术参考:

  • NVIDIA Megatron-LM:张量并行及模型并行实现;

  • PyTorch Distributed:分布式集合通信;

  • NVIDIA NCCL:GPU 集合通信库;

  • vLLM:大语言模型高性能推理框架。

本文计算口径:

本文中的通信量和耗时主要用于解释 TP 的性能规律,采用理想化带宽和通信启动延迟进行估算。实际部署需要通过 NCCL Tests、模型 Profile 和真实推理负载进行验证。

特别需要区分训练与推理:本文的 128 次通信是按照每层前向 2 次、反向 2 次计算得到的训练口径。对于只执行前向传播的标准 TP 推理,同样假设每层前向需要 2 次集合通信,那么 32 层对应约 64 次,而不是 128 次。

实际通信次数还会受到框架实现、Sequence Parallel、通信融合和算子调度方式的影响。

Logo

更多推荐