一、为什么需要 3D 并行?

在前面的 AI Infra 学习中,我们一直围绕一个核心问题展开:

大模型的参数规模越来越大,单张 GPU 已经无法同时容纳模型参数、梯度、优化器状态以及训练过程中的激活值,应该如何利用多张 GPU 完成训练?

针对这个问题,我们先后学习了几种分布式训练技术:

  • 数据并行(DP / DDP):每张 GPU 保存一份完整的模型,通过处理不同的数据实现并行计算。

  • ZeRO / FSDP:将模型参数、梯度和优化器状态进行分片,减少每张 GPU 的显存占用。

  • 张量并行(TP):将模型中的矩阵运算拆分到多张 GPU 上,让多张卡共同完成一次计算。

  • 流水线并行(PP):按照模型层级进行切分,将不同的网络层放置在不同 GPU 或服务器上。

这些技术分别解决了模型训练中的不同问题,但当模型规模进一步扩大时,仅依赖其中一种并行方式往往无法满足需求。

例如:

假设我们需要训练一个拥有 4050 亿参数的大模型,集群中有 1024 张 H100 GPU。

这时会面临几个问题:

  1. 单张 GPU 的显存不足以容纳完整模型。

  2. 单台服务器的计算资源和显存无法满足模型需求。

  3. GPU 之间需要频繁通信,通信延迟可能成为训练瓶颈。

  4. 即使模型成功切分,如果流水线调度不合理,也可能出现大量 GPU 空闲等待。

因此,真正的大规模模型训练,通常不会只使用一种并行策略,而是将多种并行技术组合起来。

这就是今天要学习的核心内容:

3D 并行(3D Parallelism)。

3D 并行并不是一种全新的模型切分算法,而是将张量并行、流水线并行和数据并行组合起来,从三个不同维度组织 GPU 资源。

它的核心思想是:

  • TP:解决单层计算规模过大的问题。

  • PP:解决模型层数过多、单机无法容纳的问题。

  • DP:通过复制训练副本,提高整体数据处理能力。

三个维度相互配合,最终形成完整的大规模分布式训练架构。


二、3D 并行的整体架构:三个维度如何分配 GPU?

理解 3D 并行,首先需要建立一个整体概念。

假设我们有 1024 张 GPU,每台服务器安装 8 张 H100 GPU。

整个集群就有:

1024 ÷ 8 = 128 台服务器。

如果采用以下配置:

  • 张量并行 TP = 8

  • 流水线并行 PP = 8

  • 数据并行 DP = 16

那么:

GPU 总数 = TP × PP × DP

GPU 总数 = 8 × 8 × 16 = 1024 张。

这就是 3D 并行最重要的关系式:

总 GPU 数量 = 张量并行度 × 流水线并行度 × 数据并行度。

可以把它理解为三个不同方向的资源划分:

1. 张量并行 TP:横向切分

张量并行主要发生在单台服务器内部。

例如,一台服务器拥有 8 张 H100 GPU,可以将一次大型矩阵乘法拆分成 8 份,每张 GPU 负责其中一部分计算。

8 张 GPU 共同完成一个 Transformer 层内部的计算。

它解决的是:

单层计算任务过大,单张 GPU 无法独立高效完成的问题。

2. 流水线并行 PP:纵向切分

流水线并行按照模型层级进行划分。

例如,一个拥有 80 层 Transformer Block 的模型,可以将其划分为 4 个阶段:

  • Stage 0:第 1~20 层

  • Stage 1:第 21~40 层

  • Stage 2:第 41~60 层

  • Stage 3:第 61~80 层

每个阶段负责一部分模型计算。

上一阶段计算完成后,将激活值传递给下一阶段,形成流水线式执行。

它解决的是:

整个模型层数太多,单台服务器无法容纳完整模型的问题。

3. 数据并行 DP:复制整个训练配置

数据并行与前两种方式不同。

TP 和 PP 是对模型进行切分,而 DP 是将已经配置好的 TP × PP 训练结构复制多份。

每一份训练副本处理不同的数据,完成计算后再通过梯度同步更新模型。

它解决的是:

如何利用更多 GPU 同时处理不同训练数据,提高整体训练吞吐量的问题。

因此,3D 并行的本质可以总结为:

TP 切计算,PP 切模型层,DP 复制训练副本。


三、为什么 TP、PP、DP 不能随意配置?

虽然三个维度可以组合,但并不意味着可以随意设置。

真正的工程部署,需要考虑 GPU 的物理拓扑、通信带宽、显存容量和模型结构。

1. TP 为什么通常放在单机内部?

张量并行最明显的特点是通信频繁。

在 Transformer 的计算过程中,一些矩阵运算被拆分到不同 GPU 上执行,完成局部计算后,需要通过集合通信操作交换或者汇总部分结果。

例如:

  • AllReduce

  • AllGather

  • ReduceScatter

这些操作可能出现在模型的多个层中。

因此,TP 的通信不仅要求带宽高,还要求延迟足够低。

以 H100 SXM 平台为例,其 NVLink 双向聚合带宽可达到约 900 GB/s。

相比之下,跨服务器的 InfiniBand NDR 400 Gb/s 网络,理论链路带宽约为 50 GB/s。

两者存在明显差距。

如果将频繁通信的 TP 组跨服务器部署,通信延迟就可能不断累积,最终拖慢整个模型的计算过程。

因此,工程上通常采用:

单机 8 张 GPU 组成一个 TP 组。

这样可以充分利用服务器内部的 NVLink 高速互联网络。

需要注意,900 GB/s 是规格口径,并不意味着实际集合通信一定能够达到这个速度,实际性能还会受到拓扑、消息大小和通信实现等因素影响。

2. PP 为什么适合跨服务器?

流水线并行与张量并行的通信特点不同。

TP 需要在模型层内部频繁交换计算结果,而 PP 主要在不同流水线阶段之间传递激活张量。

例如:

Stage 0 完成计算后,将激活值传递给 Stage 1。

Stage 1 完成计算后,再将结果传递给 Stage 2。

这种通信主要发生在阶段边界。

因此,PP 对跨服务器网络的依赖通常没有 TP 那么频繁。

这使得 PP 非常适合跨服务器部署。

典型架构:

  • 每台服务器内部使用 NVLink 实现 TP。

  • 不同服务器之间使用 InfiniBand 实现 PP。

  • 多组训练副本通过 DP 完成梯度同步。

这就是 3D 并行与硬件拓扑结合的核心思想:

高频通信尽量留在机器内部,低频通信可以跨机器进行。

3. DP 为什么放在最后计算?

当 TP 和 PP 确定之后,剩余的 GPU 就组成数据并行组。

计算公式:

DP = GPU 总数 ÷(TP × PP)

例如:

总 GPU 数量为 1024,TP = 8,PP = 8。

那么:

DP = 1024 ÷(8 × 8)= 16。

最终配置为:

TP = 8,PP = 8,DP = 16。

这里需要特别注意:

DP 是复制维度,不是模型切分维度。

因此,DP 不会直接减少每张 GPU 需要保存的模型状态。


四、3D 并行的核心显存计算

理解了三个维度的分工,接下来需要解决一个最关键的工程问题:

模型应该切分多少份,才能保证每张 GPU 都能装得下?

在前面的学习中,我们使用过一个模型状态显存估算公式。

假设:

  • 模型参数量为 Ψ。

  • 使用 BF16 混合精度。

  • 使用 Adam 优化器。

那么,每个参数对应的模型状态显存可以近似按照以下方式计算:

显存组成每个参数占用
模型参数2 Bytes
梯度2 Bytes
FP32 主参数4 Bytes
Adam 一阶动量4 Bytes
Adam 二阶动量4 Bytes
合计16 Bytes

因此:

模型状态总显存 = 16Ψ。

其中,16Ψ 只计算模型参数、梯度和优化器状态,不包含激活值、通信缓冲区等额外显存开销。

当使用 TP 和 PP 对模型进行切分后,每张 GPU 的模型状态显存可以近似表示为:

每卡模型状态显存 = 16Ψ ÷(TP × PP)。

这里有一个非常重要的细节:

公式中没有 DP。

为什么?

因为 DP 是复制训练副本,每个数据并行副本都需要保存对应的模型分片。

而 TP 和 PP 才是真正改变模型状态分布方式的维度。

因此,3D 并行的第一条显存约束是:

TP × PP ≥ 16Ψ ÷ 单卡可用显存。

这条公式直接决定了模型至少需要切分多少份。

举个例子:

假设模型状态总量为 6480 GB,单卡可用显存为 80 GB。

那么至少需要:

6480 ÷ 80 = 81 份。

这还没有考虑激活值和其他额外开销。

如果需要为激活值预留 20 GB,那么模型状态最多只能占用 60 GB。

此时至少需要:

6480 ÷ 60 = 108 份。

这就是为什么大模型训练不能只考虑模型参数量,还必须同时考虑显存余量。


五、通信机制:三种并行方式,三种不同的通信成本

显存决定模型能不能装下,通信则决定模型能不能跑得快。

3D 并行中的三个维度,通信模式存在明显差异。

1. TP:高频通信,通常无法完全隐藏

TP 主要传递层内计算产生的部分结果。

由于每一层的计算都可能依赖集合通信,因此通信通常位于计算关键路径上。

如果通信没有完成,后续依赖该结果的计算就无法继续。

所以 TP 对网络延迟非常敏感。

这也是 TP 通常放在 NVLink 域内的主要原因。

2. PP:阶段之间传递激活值

PP 主要传递前向和反向过程中的激活张量。

其通信次数与微批次数量有关。

假设一次训练中使用 m 个微批次,流水线前向和反向阶段需要进行多次阶段间传输。

通信次数和流水线调度方式密切相关。

PP 的另一个重要问题是流水线气泡。

所谓流水线气泡,就是某些 GPU 因为等待前后阶段的数据而处于空闲状态。

其近似气泡比例可以表示为:

气泡比例 =(流水线段数 - 1)÷(流水线段数 - 1 + 微批次数)。

例如,流水线切分为 8 段,一次喂入 32 个微批次:

气泡比例 = 7 ÷(7 + 32)≈ 17.95%。

这意味着流水线中仍然存在一定比例的空闲时间。

微批次数越多,气泡比例通常越低,但也需要考虑全局批次、显存和调度开销。

3. DP:通信量大,但可以与计算重叠

DP 的核心通信任务是梯度同步。

不同数据并行副本处理不同的数据,在反向传播完成后,需要对梯度进行全局同步。

由于梯度规模与模型参数量相关,因此通信量可能非常大。

不过,DP 有一个优势:

梯度通信可以与反向传播中的计算进行重叠。

例如:

某一层完成梯度计算后,就可以立即启动对应梯度桶的通信,而不必等整个模型反向传播结束。

这样就能把一部分通信时间隐藏在计算时间之中。

这也是为什么数据并行虽然通信量较大,但在合理配置下仍然能够获得较好的训练效率。

三种通信方式的特点可以总结为:

维度主要通信内容通信特点推荐网络
TP层内部分计算结果高频、低延迟要求高NVLink
PP阶段边界激活值阶段间传输InfiniBand
DP梯度数据量大,可与计算重叠InfiniBand

从工程角度看:

TP 主要受通信延迟限制,PP 主要受流水线气泡限制,DP 主要受梯度同步和计算重叠效率限制。


六、为什么 3D 并行还需要 ZeRO?

这是理解大规模分布式训练非常重要的一部分。

很多人会产生一个疑问:

既然 TP 和 PP 已经把模型切分成了 64 份,模型参数、梯度和优化器状态也都已经减少到原来的 1/64,那么为什么还需要 ZeRO?

答案是:

TP、PP 切分的是模型本身,ZeRO 切分的是数据并行组中的重复状态,两者解决的是不同维度的问题。

我们通过 405B 模型来理解。

1. 405B 模型的显存需求

假设模型参数量为:

Ψ = 4050 亿。

使用 BF16 + Adam,按照每个参数 16 Bytes 计算:

模型状态总显存 = 16Ψ。

具体拆分为:

  • 参数:810 GB。

  • 梯度:810 GB。

  • 优化器状态:4860 GB。

总计:

6480 GB。

2. 使用 TP × PP = 64 切分

假设:

TP = 8,PP = 8。

那么:

TP × PP = 64。

每张 GPU 需要承担:

6480 ÷ 64 = 101.25 GB。

也就是约 101.3 GB。

但是 H100 的显存只有 80 GB。

<font></font>

问题出现了:模型已经切分成 64 份,仍然无法装进单张 GPU。

这说明,单纯增加模型切分程度,并不一定能够解决所有显存问题。

3. ZeRO 如何进一步降低显存?

这时就需要引入 ZeRO。

ZeRO 的核心思想是:

在数据并行组内部,将原本重复保存的模型状态进行分片,减少冗余存储。

例如:

16 个数据并行副本原本都需要保存一份相同的模型状态。

通过 ZeRO,可以让不同 GPU 分别保存不同的状态分片。

需要注意:

ZeRO 主要作用于数据并行组,而不是 TP 组。

因为 TP 组内的 GPU 本来就持有不同的模型分片,不存在相同模型状态的重复存储问题。

ZeRO 的三个阶段分别是:

阶段分片内容主要作用
ZeRO-1优化器状态减少优化器状态冗余
ZeRO-2优化器状态、梯度进一步降低显存
ZeRO-3优化器状态、梯度、参数最大程度减少模型状态冗余

对于 405B 模型,如果采用 ZeRO-1:

参数和梯度仍然按照 64 份进行切分,而优化器状态进一步在 16 个数据并行副本之间切分。

每卡显存:

参数和梯度:

(810 + 810)÷ 64 = 25.3125 GB。

优化器状态:

4860 ÷(64 × 16)≈ 4.746 GB。

最终:

每卡模型状态 ≈ 25.3 + 4.7 = 30.1 GB。

<font></font>

原来每卡需要约 101.3 GB,现在降低到了约 30.1 GB。

在 80 GB 显存的 H100 上,理论上还能为激活值和其他运行开销留下约 50 GB 的空间。

这就是 3D 并行与 ZeRO 组合使用的价值。

4. 为什么 ZeRO-1 的通信代价相对较低?

这里还有一个值得深入理解的问题。

DP 本身就需要进行梯度同步。

传统 AllReduce 可以理解为两个阶段:

  1. ReduceScatter:对梯度进行归约,并将结果分散到不同 GPU。

  2. AllGather:将分散的结果重新收集。

ZeRO-1 可以利用 ReduceScatter 得到各自负责的梯度分片,让不同 GPU 更新自己负责的优化器状态和参数分片。

因此,它可以利用原本梯度同步过程中的通信步骤完成优化器状态分片。

相比之下,ZeRO-3 还需要在计算前向传播时获取所需参数,增加参数 AllGather 等通信操作,通信成本也就更高。

因此,在大规模训练中,不能只看显存节省比例,还必须综合考虑通信代价。


七、数据并行 DP:为什么不是越大越好?

从前面的公式可以看出:

DP = 总 GPU 数量 ÷(TP × PP)。

看起来 DP 只是一个计算出来的余数。

但实际上,DP 的取值直接影响整个训练系统的显存、流水线效率和训练收敛。

1. DP 太小:流水线气泡增加

假设总 GPU 数量固定为 1024,TP 固定为 8。

如果 DP = 1:

那么:

PP = 1024 ÷ 8 = 128。

也就是说,整个模型需要被切分成 128 个流水线阶段。

假设一次喂入 32 个微批次:

气泡比例 = 127 ÷(127 + 32)。

结果约为:

79.9%。

这意味着流水线中存在大量空闲时间。

显然,这种配置并不理想。

2. DP 太大:每卡显存可能超限

在叠加 ZeRO-1 的情况下,可以将每卡模型状态近似写成:

每卡模型状态 = 4Ψ × DP ÷ 总 GPU 数量 + 12Ψ ÷ 总 GPU 数量。

其中:

  • 第一部分代表参数和梯度占用。

  • 第二部分代表已经在全部 GPU 上进行分片的优化器状态。

可以看到,DP 越大,第一部分显存占用越高。

仍然以 405B 模型、1024 张 GPU 为例:

当 DP = 16:

每卡模型状态约为 30.1 GB。

当 DP = 64:

每卡模型状态约为 106 GB。

已经超过 H100 的 80 GB 显存限制。

所以 DP 不能无限增大。

3. DP 还受到全局批次的限制

除了显存和流水线气泡,DP 还有一个容易被忽略的限制:

全局批次(Global Batch Size)。

计算关系:

Global Batch Size = 微批次数 × 单卡微批次大小 × DP。

这意味着:

DP 增大,全局批次也会随之增大。

当全局批次发生变化时,学习率、训练稳定性和收敛效果都可能受到影响。

例如,业界常用 Linear Scaling Rule,即全局批次扩大 k 倍时,尝试将学习率扩大 k 倍。

但这并不是绝对规律。

在大批次训练中,还可能使用平方根缩放、延长学习率预热等策略。

因此,DP 的选型不能只看硬件资源,还必须考虑模型训练本身的优化策略。

最终,DP 需要同时满足三个条件:

  • 下限:不能太小,否则 PP 过大,流水线气泡增加。

  • 上限:不能太大,否则每卡模型状态显存可能超限。

  • 算法约束:全局批次不能大到影响训练收敛。

DP 的最佳取值,是显存、通信、流水线效率和训练收敛共同约束下的结果。


八、70B 与 405B:两个典型模型的 3D 并行配置

理论公式理解之后,我们通过两个典型规模的模型来分析实际配置。

案例一:70B 模型,32 张 GPU

假设:

  • 模型参数量:70B。

  • 模型状态总量:约 1120 GB。

  • GPU 数量:32 张。

  • 单卡显存:80 GB。

  • TP = 8。

可以考虑两种配置。

方案一:TP = 8,PP = 2,DP = 2

每卡模型状态:

1120 ÷(8 × 2)= 70 GB。

剩余显存:

80 - 70 = 10 GB。

假设微批次数为 32:

气泡比例:

1 ÷(1 + 32)≈ 3.0%。

方案二:TP = 8,PP = 4,DP = 1

每卡模型状态:

1120 ÷(8 × 4)= 35 GB。

剩余显存:

80 - 35 = 45 GB。

气泡比例:

3 ÷(3 + 32)≈ 8.6%。

两种方案对比如下:

配置每卡模型状态剩余显存流水线气泡
TP8 × PP2 × DP270 GB10 GB3.0%
TP8 × PP4 × DP135 GB45 GB8.6%

应该选择哪一种?

从理论计算看,第一种方案的流水线气泡更低,第二种方案的显存余量更大。

如果激活值可以通过梯度检查点进一步压缩,那么第一种方案通常更有吸引力。

原因在于:

激活值可以通过重新计算换取显存,而流水线气泡造成的空闲时间无法通过同样的方式消除。

因此,在其他条件允许的情况下,优先选择较低的流水线气泡,往往更有利于提高训练效率。

不过,第一种方案仍然必须验证激活值和运行时缓冲区能否放进剩余的显存空间,不能仅凭模型状态计算就认定配置一定可运行。

案例二:405B 模型,1024 张 GPU

假设:

  • 模型参数量:405B。

  • 模型状态总量:6480 GB。

  • GPU 数量:1024 张。

  • 单卡显存:80 GB。

  • TP = 8。

  • PP = 8。

  • DP = 16。

三个维度相乘:

8 × 8 × 16 = 1024。

在叠加 ZeRO-1 后:

每卡模型状态约为 30.1 GB。

剩余显存约为:

80 - 30.1 = 49.9 GB。

这为激活值和其他运行开销提供了空间。

从这个案例可以看出:

当模型规模达到数百亿乃至数千亿参数时,单纯依赖 TP 和 PP 进行模型切分,可能已经无法满足显存要求。

需要进一步利用 ZeRO 等技术降低数据并行组内部的冗余存储。


九、3D 并行的工程选型:六个步骤确定配置

理解原理之后,真正重要的是掌握一套可以落地的选型流程。

实际部署时,可以按照以下六个步骤进行。

第一步:计算模型状态显存

首先确定模型参数量、精度和优化器类型。

例如,BF16 + Adam:

模型状态显存 ≈ 16Ψ。

先判断单卡或者单机是否能够容纳。

如果单机就能满足显存要求,就没有必要为了使用 3D 并行而强行引入跨机通信。

第二步:确定 TP

优先考虑单机内部 GPU 数量、NVLink 拓扑以及模型结构允许的切分粒度。

例如,8 卡 H100 服务器,通常可以先考虑 TP = 8。

但需要注意,TP 的上限不完全由 GPU 数量决定,还会受到注意力结构、隐藏层维度和其他算子整除条件的限制。

以 Llama 3 系列为例,GQA 结构中 Key/Value 头的数量会影响 TP 的切分粒度。

Llama 3 全系的 Key/Value 头为 8,因此不能简单地将 TP 任意扩大到 16。

第三步:确定 PP

根据显存约束计算:

TP × PP ≥ 16Ψ ÷ 单卡可用显存。

在 TP 确定后,再计算 PP 至少需要多少。

同时检查模型层数是否能够合理划分。

例如,405B 模型有 126 层。

如果划分为 8 段,每段平均为 15.75 层。

这意味着无法做到完全均匀切分,需要考虑不均匀分段。

否则,某一阶段可能成为显存和计算负载的瓶颈。

第四步:计算 DP

根据总 GPU 数量计算:

DP = GPU 总数 ÷(TP × PP)。

这一步确定剩余 GPU 如何组成数据并行副本。

同时检查 DP 是否满足显存和训练批次约束。

第五步:进一步优化显存

如果模型状态仍然过大,可以考虑:

  • ZeRO-1:分片优化器状态。

  • ZeRO-2:进一步分片梯度。

  • ZeRO-3:进一步分片参数。

  • Gradient Checkpointing:减少激活值存储,通过反向传播时重新计算部分前向结果换取显存。

这里需要明确区分:

ZeRO 主要解决模型状态的冗余存储问题。

梯度检查点主要解决激活值的显存占用问题。

两者解决的是不同问题,可以组合使用。

第六步:优化流水线气泡和训练吞吐量

最后确定微批次数量。

利用公式:

气泡比例 =(PP - 1)÷(PP - 1 + 微批次数)。

通过增加微批次数,可以降低流水线气泡。

但不能只追求气泡比例最低,还需要考虑全局批次、显存占用和调度效率。

最终应通过实际训练测试,综合评估 GPU 利用率、吞吐量、通信时间和收敛效果。


十、3D 并行在训练与推理中的区别

3D 并行主要用于大规模模型训练,但在模型推理阶段,情况有所不同。

训练阶段需要保存:

  • 模型参数。

  • 梯度。

  • 优化器状态。

  • 激活值。

推理阶段通常只需要模型参数、必要的运行时缓冲区以及 KV Cache,不需要梯度和优化器状态。

因此,训练阶段使用的显存分片方案,并不能直接照搬到推理阶段。

尤其是 ZeRO-1 和 ZeRO-2,它们针对的是训练过程中的优化器状态和梯度。

推理过程中并不存在这些状态的常规存储需求。

此外,流水线并行在推理场景中也需要考虑请求延迟。

因为一次请求通常需要依次经过模型的不同阶段,跨阶段传递会引入额外等待。

因此:

  • 训练场景更关注整体吞吐量和 GPU 利用率。

  • 推理场景需要同时关注吞吐量、首 Token 延迟和每 Token 延迟。

  • TP 通常仍然是推理侧的重要并行方式。

  • PP 是否适用,需要根据模型规模、请求并发和部署拓扑综合判断。

这也是为什么训练架构和推理架构虽然都使用多 GPU,但实际资源配置思路并不完全相同。


十一、实际工程中最容易出现的三个误区

误区一:认为 DP 越大,训练速度就越快

DP 增大确实可以增加数据并行副本数量,但同时会改变每卡模型状态显存占用和全局批次。

如果 DP 过大,可能导致显存溢出,或者训练批次过大影响收敛。

因此,DP 并不是越大越好。

误区二:认为 TP 和 PP 已经切分模型,就不需要 ZeRO

TP 和 PP 负责将不同模型分片放置到不同 GPU。

ZeRO 负责消除数据并行副本之间的模型状态冗余。

两者切分方向不同,可以叠加使用。

对于超大规模模型,这种组合往往非常重要。

误区三:认为模型状态能够装下,训练就一定能启动

16Ψ 公式只计算参数、梯度和优化器状态。

实际训练还需要考虑:

  • 激活值。

  • CUDA 工作空间。

  • 通信缓冲区。

  • 临时张量。

  • 算子运行时额外显存。

  • 显存碎片。

因此,模型状态显存只是选型的第一步。

真正部署时,必须保留足够的显存余量,并通过实际训练验证。


十二、今日总结:3D 并行的核心不是切分,而是资源协同

经过今天的学习,可以把 3D 并行理解为一套面向大规模 GPU 集群的资源组织方法。

它不是简单地将三种并行方式叠加,而是根据不同并行方式的特点,将计算、存储和通信合理映射到硬件拓扑中。

三个维度分别承担不同任务:

TP(张量并行): 将模型层内部的计算任务拆分到多张 GPU 上,依赖高速互联完成频繁通信。

PP(流水线并行): 将模型不同层划分为多个阶段,利用多台服务器共同承载完整模型。

DP(数据并行): 复制训练副本,让不同副本处理不同的数据,通过梯度同步完成模型更新。

最重要的配置关系是:

GPU 总数 = TP × PP × DP。

而显存选型的核心约束是:

TP × PP ≥ 16Ψ ÷ 单卡可用显存。

如果 TP 和 PP 已经无法继续扩展,就需要考虑在 DP 组上叠加 ZeRO,进一步减少模型状态的冗余存储。

与此同时,DP 还受到流水线气泡、显存占用和全局批次的共同约束。

所以,真正的大规模训练并不是 GPU 数量越多越好,也不是并行度越高越好。

优秀的分布式训练架构,是在显存容量、计算效率、通信带宽、流水线气泡和训练收敛之间找到一个合理的平衡点。

这才是 3D 并行真正需要掌握的工程思想。


参考资料与计算说明

  1. NVIDIA H100 GPU 公开硬件规格:80 GB HBM3 显存及 NVLink 互联能力。

  2. InfiniBand NDR 400 Gb/s 网络规格。

  3. Meta Llama 3 系列模型公开架构信息,包括 405B 模型层数、70B 模型注意力头结构及 GQA 配置。

  4. ZeRO:Memory Optimizations Toward Training Trillion Parameter Models。

  5. Megatron-LM:Training Multi-Billion Parameter Language Models Using Model Parallelism。

  6. NVIDIA Megatron-LM 分布式训练相关技术资料。

计算假设: 本文采用 BF16 混合精度、Adam 优化器,并按照每个参数约 16 Bytes 估算模型状态显存。所有显存计算均为理论估算,不包含激活值、运行时缓冲区等额外开销。通信带宽为硬件规格或链路理论值,实际性能需要结合 GPU 拓扑、集合通信实现及 nccl-tests 等测试结果进行验证。

这篇文章最值得读者记住的一句话是:

TP 决定一层怎么分,PP 决定模型怎么分,DP 决定训练副本怎么扩展,而 ZeRO 负责进一步消除副本中的存储冗余。

Logo

更多推荐