流水线并行(PP)——把模型按层切开,串成一条高效的计算流水线
一、为什么需要流水线并行?
在大模型训练中,随着模型参数规模不断增长,单张 GPU 的显存逐渐成为限制训练规模的主要瓶颈。
以一个 8B 参数模型为例,假设采用 BF16 混合精度训练,并使用 Adam 优化器,按照每个参数约 16 字节的显存开销计算:
-
模型参数:2 字节
-
参数梯度:2 字节
-
Adam 一阶动量:4 字节
-
Adam 二阶动量:4 字节
-
FP32 主权重:4 字节
因此,模型训练状态的总显存需求约为:
即使使用 H100 80GB 显卡,单卡也无法完整容纳模型训练状态。
为了解决这个问题,我们已经学习了几种不同的并行策略:
-
数据并行(DDP): 每张 GPU 保存完整模型,通过处理不同的数据提高训练吞吐量。
-
ZeRO / FSDP: 将模型参数、梯度和优化器状态切分到不同 GPU 上,降低单卡显存占用。
-
张量并行(TP): 将一个矩阵运算拆分到多张 GPU 上,让多张卡共同完成同一次计算。
今天学习的流水线并行(Pipeline Parallelism,简称 PP),采用的是另一种思路:
不再将同一层的计算拆开,而是直接将整个模型按照网络层划分成多个阶段,每张 GPU 负责其中一部分层。
例如,一个拥有 32 层 Transformer Block 的模型,可以按照以下方式划分:
-
GPU 0:负责第 0~7 层
-
GPU 1:负责第 8~15 层
-
GPU 2:负责第 16~23 层
-
GPU 3:负责第 24~31 层
数据首先进入 GPU 0,完成前 8 层计算后,将中间结果传递给 GPU 1,随后依次传递,直到 GPU 3 完成最后一层计算。
这种方式就像工厂中的流水线:
每个工位只负责自己的加工环节,上一个工位完成后,将半成品交给下一个工位。
流水线并行的核心思想就是:
模型分段、计算分工、激活传递、流水执行。
二、流水线并行的基本架构与工作原理
2.1 模型如何切分?
假设模型总共有 (L) 层,使用 (p) 张 GPU 进行流水线并行。
为了方便理解,先假设模型可以均匀切分,那么每张 GPU 负责:
层。
第 (s) 个流水线阶段负责的层区间可以表示为:
其中:
-
(L):模型总层数。
-
(p):流水线并行度,也就是流水线阶段数量。
-
(s):当前流水线阶段的编号。
例如,32 层模型切分为 4 个阶段,每个阶段负责 8 层。
需要注意,实际工程中并不一定严格均匀切分。Embedding、LM Head 和 Loss 等模块可能导致不同阶段的计算量与显存需求不一致,后面会进一步分析。
2.2 前向传播:数据从前往后流动
假设一个训练批次被拆分成多个 micro-batch(微批次)。
对于第 (i) 个微批次:
-
GPU 0 接收输入数据,执行自己负责的网络层。
-
GPU 0 计算完成后,将输出激活值传递给 GPU 1。
-
GPU 1 接收激活值,继续执行后续网络层。
-
GPU 2、GPU 3 按照相同方式继续计算。
-
最后一张 GPU 完成前向传播,得到模型输出并计算 Loss。
可以将每个阶段的计算抽象为:
其中:
-
:上一阶段传递过来的激活值。
-
:当前阶段负责的网络计算。
-
:当前阶段计算产生的激活值。
这里最重要的是:每张 GPU 不需要获得完整模型,只需要接收上一阶段传递的激活值。
2.3 反向传播:梯度从后往前流动
前向传播完成后,训练进入反向传播阶段。
梯度的传递方向与前向传播相反:
GPU 3 → GPU 2 → GPU 1 → GPU 0。
每个阶段接收到下游传递回来的梯度后,需要完成两项工作:
-
计算当前阶段网络参数的梯度。
-
计算并向上游传递输入梯度。
抽象表示为:
其中,表示损失函数。
通过这样的方式,每张 GPU 只负责自己所持有的模型分段,不需要集中保存整个模型的参数和计算过程。
2.4 流水线并行与其他并行方式有什么区别?
| 并行方式 | 切分对象 | 核心目的 | 主要通信内容 |
|---|---|---|---|
| DDP | 数据 | 提高训练吞吐量 | 梯度 |
| ZeRO / FSDP | 模型训练状态 | 降低单卡显存占用 | 梯度、参数等 |
| TP | 单层矩阵计算 | 分摊单层计算和模型状态 | 中间激活及计算结果 |
| PP | 模型网络层 | 将模型拆分到不同 GPU | 阶段边界激活和梯度 |
这四种方式最本质的区别在于切分维度不同。
DDP 解决的是数据如何分配,ZeRO/FSDP 解决的是模型状态如何存放,TP 解决的是一次计算如何拆分,而 PP 解决的是整个模型如何分阶段部署。
尤其需要注意:
流水线并行并不是让每张 GPU 同时计算同一层,而是让不同 GPU 分别负责不同层,并通过数据传递形成连续计算过程。
三、Micro-batch 与流水线气泡:为什么 GPU 会空转?
流水线并行虽然能够把模型放到多张 GPU 上,但它存在一个非常明显的问题:流水线无法从第一个时间片就让所有 GPU 同时工作。
3.1 什么是 Micro-batch?
在普通训练中,我们通常会设置一个 Global Batch Size,即全局批次大小。
例如,一次参数更新需要处理 128 条训练样本。
流水线并行不会简单地将这 128 条数据一次性送入流水线,而是将其拆分成多个小批次。
这些小批次就叫 Micro-batch。
假设:
-
Global Batch Size = 128
-
Micro-batch Size = 4
那么:
也就是说,一个全局训练批次被拆分为 32 个微批次,依次进入流水线。
3.2 为什么会出现流水线气泡?
假设我们有 4 张 GPU:
-
GPU 0 负责阶段 0。
-
GPU 1 负责阶段 1。
-
GPU 2 负责阶段 2。
-
GPU 3 负责阶段 3。
当第一个 Micro-batch 进入 GPU 0 时,其他三张 GPU 还没有收到数据,因此只能等待。
随着数据逐渐向后传递,GPU 1、GPU 2、GPU 3 才会陆续进入工作状态。
当最后一个 Micro-batch 离开流水线时,前面的 GPU 又可能已经完成工作,而后面的 GPU 仍然在执行剩余任务。
这些因为流水线启动和结束而产生的空闲时间,就称为:
流水线气泡(Pipeline Bubble)。
气泡并不是 GPU 故障,也不是通信失败,而是流水线调度过程中不可避免的空闲时间。
它直接影响 GPU 利用率和整体训练吞吐量。
3.3 如何计算流水线气泡?
为了建立统一的数学模型,先作以下假设:
-
流水线阶段数量为 (p)。
-
Micro-batch 数量为 (m)。
-
每个阶段的前向计算时间相同。
-
每个阶段的反向计算时间相同。
-
每个前向或反向计算占用一个时间片。
-
暂不考虑通信延迟和负载不均衡。
在这种理想化调度模型下:
一个训练步的总时间片数量为:
每张 GPU 实际参与计算的时间片为:
每张 GPU 空闲的时间片为:
因此,气泡占比为:
这个公式是理解流水线并行效率的关键。
其中:
-
(p) 越大,流水线阶段越多,气泡越大。
-
(m) 越大,微批次数量越多,气泡占比越小。
举个例子。
假设使用 4 张 GPU,切分为 4 个流水线阶段,一次训练包含 4 个 Micro-batch。
那么:
也就是说,在这个理想化模型中,约 42.86% 的时间处于流水线气泡状态。
这个比例显然比较高。
3.4 Micro-batch 越多,气泡就越小吗?
我们再看一个重要结论。
当 (m) 足够大时:
可以近似为:
注意,这里不是简单的 (1/m),而是:
也就是说,流水线阶段数量同样会影响气泡比例。
下面以不同 Micro-batch 数量进行对比:
| 流水线阶段数 | Micro-batch 数 | 气泡占比 |
|---|---|---|
| 4 | 4 | 42.86% |
| 4 | 16 | 15.79% |
| 4 | 64 | 4.48% |
| 8 | 8 | 46.67% |
| 8 | 32 | 17.95% |
| 8 | 64 | 9.46% |
从结果可以看出:
在流水线阶段数量不变的情况下,增加 Micro-batch 数量可以有效摊薄气泡。
但是,增加流水线阶段数量并不一定意味着效率提高。
因为阶段越多,流水线启动和排空需要经历的等待时间也越长。
3.5 如何反推需要多少个 Micro-batch?
在实际训练中,我们往往不是先确定 Micro-batch 数量,而是先设定一个可接受的气泡比例。
例如,希望气泡占比不超过 10%。
根据公式:
整理得到:
当目标气泡比例为 10% 时:
具体结果:
| 流水线阶段数 | 气泡不超过 10% | 气泡不超过 5% |
|---|---|---|
| 4 | 27 | 57 |
| 8 | 63 | 133 |
这说明,流水线阶段数量越多,为了维持相同的执行效率,就需要更多的 Micro-batch。
但这里还有一个工程问题:
Micro-batch 并不是越多越好,因为它会影响显存占用、计算效率和全局批次大小。
实际训练时,需要综合考虑 Micro-batch Size、Global Batch Size、GPU 数量以及模型收敛情况。
3.6 增加 Micro-batch 有什么代价?
在 Megatron 等训练框架中,Micro-batch 数量通常可以表示为:
其中,DP 表示数据并行度。
想增加 (m),主要有两种办法。
第一种:保持 Global Batch Size 不变,减小 Micro-batch Size。
这种方式不会改变全局训练批次,但会让每次 GPU 处理的数据变少。
Micro-batch 太小可能导致矩阵规模下降,GPU Tensor Core 无法充分发挥性能,进而降低计算效率。
第二种:保持 Micro-batch Size 不变,增加 Global Batch Size。
这种方式可以增加 Micro-batch 数量,但全局批次也随之增大。
全局批次改变后,需要重新评估学习率、梯度噪声和模型收敛情况。Linear Scaling Rule 是常见的学习率调整经验,但并不是任何批次规模下都成立的定律。
因此,实际工程中不能只盯着气泡比例,还需要考虑计算效率与训练收敛之间的平衡。
四、流水线调度:GPipe 与 1F1B
上一节介绍了气泡问题,但流水线并行还有一个容易被忽视的问题:
前向传播产生的激活值需要保留到反向传播使用,这会带来额外的显存压力。
4.1 GPipe:先前向,再反向
GPipe 是一种典型的流水线调度方式。
它的基本思路是:
-
将 Global Batch 拆分成多个 Micro-batch。
-
所有 Micro-batch 依次完成前向传播。
-
前向传播全部结束后,再开始反向传播。
-
所有反向传播完成后,进行参数更新。
这种方式逻辑比较简单,但存在明显的显存问题。
因为前向传播时,每个 Micro-batch 都会产生反向传播需要的中间激活值。
在反向传播开始之前,这些激活值不能随意释放。
假设一次训练包含 64 个 Micro-batch,那么一个阶段可能需要保留大量 Micro-batch 对应的激活数据。
Micro-batch 越多,激活显存压力就越大。
4.2 1F1B:一前向、一反向
为了解决激活值长期堆积的问题,实际训练中常用另一种调度方式:
1F1B(One Forward One Backward)。
它的核心思想是:
流水线预热完成后,前向传播与反向传播交替执行。
例如:
-
先连续执行若干次前向传播。
-
当对应的反向任务具备执行条件后,开始穿插反向传播。
-
后续按照一轮前向、一轮反向的方式持续执行。
-
最后完成剩余反向传播,排空流水线。
这种方式减少了同时处于计算过程中、尚未完成反向传播的 Micro-batch 数量。
在典型的非交错式 1F1B 调度中,每个阶段需要保留的激活值数量通常可以控制在与流水线阶段数同量级的范围内,而不是随着整个 Micro-batch 数量线性增长。
例如:
假设:
-
流水线阶段数为 8。
-
Micro-batch 数量为 64。
采用 GPipe 时,可能需要为大量 Micro-batch 保存激活值。
采用 1F1B 时,激活值峰值通常可以从与 64 份同量级,降低到与 8 份同量级。
这里的具体峰值取决于阶段位置和调度实现,不能将 8 直接视为所有 GPU 上固定不变的精确值。
4.3 GPipe 与 1F1B 的区别
| 对比维度 | GPipe | 1F1B |
|---|---|---|
| 调度方式 | 先完成全部前向,再完成反向 | 前向与反向交替 |
| 激活值保存 | 数量随 Micro-batch 增长 | 通常控制在流水线深度量级 |
| 显存压力 | 较大 | 相对较小 |
| 流水线气泡 | 存在 | 存在 |
| 主要优势 | 调度简单 | 降低激活显存占用 |
这里需要特别注意:
1F1B 的主要价值是降低激活显存峰值,而不是直接消除流水线气泡。
它优化的是显存管理与任务调度,流水线预热和排空产生的气泡仍然存在。
五、流水线并行如何降低显存占用?
理解 PP 的另一个关键,是区分模型状态和激活值。
前面学习过,采用 BF16 混合精度训练和 Adam 优化器时,可以使用约 16 字节/参数的估算口径。
对于 8B 模型:
如果使用 8 个流水线阶段,将模型均匀切分:
也就是说,每张 GPU 只需要保存自己负责阶段的参数、梯度和优化器状态。
但是,这里有一个很重要的区别:
PP 和 ZeRO-3 虽然可能得到相同的单卡模型状态显存数字,但两者保存模型的方式完全不同。
-
ZeRO-3:每张 GPU 保存模型参数的一个分片,参数分布在所有 GPU 上。
-
PP:每张 GPU 保存模型某一段的完整参数,这一段的参数不会再自动分散到其他流水线阶段。
这会带来两个直接影响。
5.1 PP 并不会自动切分阶段内部的激活值
假设一个阶段负责 8 层 Transformer。
那么,这 8 层产生的激活值仍然需要由当前 GPU 负责保存或按需重计算。
因此,PP 虽然能够降低单卡模型状态的显存占用,但并不意味着激活值也自动按照 GPU 数量平均切分。
这也是为什么 PP 经常需要与 1F1B、梯度检查点等技术配合使用。
5.2 模型切分不一定均匀
实际模型中,Embedding、Transformer Block、LM Head 等模块的参数规模并不完全相同。
例如:
-
第一阶段可能包含 Embedding。
-
中间阶段主要负责 Transformer Block。
-
最后一阶段可能包含 LM Head 和 Loss。
这些模块的显存需求和计算量存在差异。
如果简单地按照层数均匀切分,可能出现:
第一张 GPU 显存占用较高,中间 GPU 还有较多剩余空间,而最后一张 GPU 因为 LM Head 等模块出现显存瓶颈。
这就是流水线并行中的负载不均衡问题。
工程上通常需要综合考虑:
-
每个阶段的参数规模。
-
每个阶段的计算时间。
-
每个阶段的激活显存。
-
阶段之间的通信开销。
真正优秀的流水线切分,不是让每张 GPU 分到相同数量的层,而是让每个阶段的整体计算与资源负载尽可能均衡。
六、为什么流水线并行更适合跨机器部署?
这是 PP 最重要的工程价值之一。
在多机训练环境中,GPU 不仅需要计算,还需要通过网络交换数据。
而不同并行方式的通信频率和通信内容存在明显差异。
6.1 PP 跨机器传输什么?
流水线并行中,相邻阶段之间只需要传递边界上的中间激活值。
反向传播时,再传递对应的梯度。
它不需要在每个阶段之间传递完整模型参数。
单次前向边界传输的数据量可以估算为:
其中:
-
:Micro-batch 中的序列数量。
-
:每条序列的 Token 数量。
-
:隐藏层维度。
-
:每个元素占用的字节数。
假设使用 BF16,每个元素占 2 字节。
那么:
这里要特别注意:
PP 的边界通信量主要由 Micro-batch 的 Token 数量和隐藏层宽度决定,而不是由模型参数总量直接决定。
6.2 以 Llama-3-70B 为例
假设:
-
模型隐藏层维度:8192。
-
序列长度:4096。
-
Micro-batch:1 条序列。
-
数据类型:BF16。
那么一次前向传播的边界激活数据量为:
换算后:
如果使用一条 400 Gb/s 的网络链路,理论带宽约为 50 GB/s。
那么理想传输时间为:
这只是单次边界传输的理想估算,实际还会受到网络协议、拥塞、通信调度和链路利用率等因素影响。
6.3 为什么 PP 比 TP 更适合跨节点?
张量并行和流水线并行最大的区别,不只是传输的数据量,而是通信发生的频率以及通信是否处于计算关键路径上。
张量并行(TP):
-
同一层的矩阵计算被拆分到不同 GPU。
-
多张 GPU 需要频繁交换中间计算结果。
-
通信通常发生在每层计算的关键路径上。
-
如果通信没有完成,后续计算就可能无法继续。
因此,TP 更适合使用节点内部的 NVLink 等高速互联。
流水线并行(PP):
-
每张 GPU 负责相对独立的模型层。
-
只需要与相邻阶段交换激活值和梯度。
-
通信发生在阶段交接的位置。
-
可以通过流水线调度,让不同阶段并行处理不同 Micro-batch。
PP 的通信次数与 Micro-batch 数量相关,能够通过合理配置进行控制。
例如,在一个包含 (m) 个 Micro-batch 的训练步中,每张 GPU 通常需要进行:
次阶段边界通信操作:
-
(m) 次前向激活传输。
-
(m) 次反向梯度传输。
这里统计的是每张 GPU 与相邻阶段之间的逻辑传输操作,不代表每次通信都能完全隐藏在计算后面。
另外,PP 的阶段数量决定了流水线边界数量:
但它不直接决定单卡每个训练步的上述通信次数。
这两个概念一定要区分。
6.4 TP 与 PP 的通信对比示例
继续使用 70B 模型的假设数据:
-
隐藏层维度:8192。
-
序列长度:4096。
-
BF16。
-
单次激活张量:67.1 MB。
假设张量并行采用 8 卡环形 AllReduce。
单次 AllReduce 中,每张 GPU 的收发数据量可以按照以下公式估算:
代入 (N=8):
如果进一步假设每个 Transformer Block 有 4 次这样的集合通信,模型共有 80 层,那么:
单卡一个训练步的累计收发数据量约为:
如果仍按照 50 GB/s 的理想链路带宽估算:
而 PP 的边界传输,在 (m=32) 时,单条边界的前向与反向数据传输总量约为:
对应的理想传输时间约为:
在这组特定假设下,PP 的边界传输时间明显低于 TP 的跨机集合通信时间。
但必须说明:这是用于理解通信模式的简化估算,并不是所有 TP、PP 配置都能得到相同的性能比例。真实结果还取决于集合通信算法、通信拓扑、计算重叠、实际通信张量大小及网络并发能力。
这里真正值得记住的是:
TP 通信频繁,而且通常与层内计算紧密耦合;PP 通信相对稀疏,主要发生在阶段边界。
这也是工程上通常将 TP 放在高速节点内互联,将 PP 用于跨节点扩展的重要原因。
七、PP、TP、DP 如何组合:从单机走向多机训练
实际大模型训练并不是只使用一种并行方式,而是经常将数据并行、张量并行和流水线并行组合起来。
这就是我们后面要学习的 3D 并行。
先看一个典型的 70B 模型训练场景。
假设有两台服务器,每台服务器配备 8 张 H100 GPU,总共 16 张 GPU。
可以采用:
-
TP = 8:每台服务器内部 8 张 GPU 进行张量并行。
-
PP = 2:两台服务器之间进行流水线并行。
-
DP = 1:暂时不启用数据并行。
总 GPU 数量为:
在这种架构下:
-
每台服务器内部通过高速 NVLink 完成张量并行通信。
-
两台服务器之间通过网络传递流水线边界激活值和梯度。
-
每个流水线阶段负责模型的一部分网络层。
这种设计充分利用了不同通信方式的特点:
机内通信频繁,因此优先使用高速互联;机间通信相对稀疏,因此使用流水线并行连接不同服务器。
如果模型规模进一步扩大,还可以增加数据并行副本。
例如:
那么总 GPU 数量为:
这就是大规模分布式训练中常见的 3D 并行组合思路。
需要注意,具体并行度必须根据模型结构、GPU 显存、网络拓扑、训练批次和通信效率进行规划,并不是卡数越多就一定越快。
八、流水线并行的适用场景与局限
流水线并行虽然能够解决模型跨设备部署的问题,但它并不是所有训练任务的最佳选择。
8.1 什么时候适合使用 PP?
场景一:模型状态无法放入单机显存。
当模型规模较大,即使使用 ZeRO/FSDP 或 TP,单机仍然无法容纳模型训练状态时,可以通过 PP 将模型分配到不同服务器。
场景二:模型层数较多,适合进行阶段划分。
Transformer 模型具有明显的层级结构,适合按照网络层进行切分。
场景三:希望减少跨节点的频繁集合通信。
当跨节点网络带宽有限,而节点内部具有高速 GPU 互联时,可以使用 TP + PP 的组合架构。
8.2 什么时候不适合使用 PP?
场景一:模型已经可以在单机内完成训练。
如果单机多卡通过 TP 或 ZeRO/FSDP 就能满足显存需求,就没有必要为了使用 PP 而引入额外的流水线调度复杂度。
场景二:Micro-batch 数量太少。
Micro-batch 数量不足时,流水线气泡占比会很高,GPU 利用率下降。
场景三:模型阶段负载不均衡。
如果某个阶段的计算时间明显长于其他阶段,其他 GPU 就需要等待慢阶段完成,形成新的性能瓶颈。
场景四:对单请求推理延迟要求较高。
流水线推理需要让一次请求依次经过多个阶段,阶段之间还存在通信开销。
虽然 PP 可以通过增加请求并发量提高整体吞吐量,但对于单条请求而言,串行经过多个阶段可能增加端到端延迟。
因此,推理场景需要结合吞吐量、并发量和延迟目标综合选择并行策略,不能简单认为 PP 完全不能用于推理。
九、流水线并行的三个工程难点
在真正部署 PP 时,还需要关注三个容易被忽略的问题。
9.1 阶段负载不均衡
流水线整体吞吐量受到最慢阶段的限制。
假设:
-
GPU 0 计算时间:10 ms。
-
GPU 1 计算时间:10 ms。
-
GPU 2 计算时间:20 ms。
-
GPU 3 计算时间:10 ms。
那么 GPU 2 就会成为整个流水线的瓶颈。
其他 GPU 即使已经完成任务,也可能因为等待 GPU 2 而无法继续推进。
因此,流水线划分应该以计算时间和显存需求为主要依据,而不只是简单平均层数。
9.2 数据并行副本之间的梯度同步
当 PP 与 DP 组合使用时,每个数据并行副本都拥有相同的流水线阶段结构。
例如:
-
DP 副本 0 有一套完整流水线。
-
DP 副本 1 也有一套完整流水线。
两个副本中相同流水线阶段的参数,需要在训练过程中进行梯度同步,确保模型参数保持一致。
因此,PP 解决的是模型层如何分布,而 DP 负责不同数据副本之间的梯度同步。
9.3 故障与流水线阻塞
流水线具有明显的上下游依赖关系。
如果某个阶段发生 GPU 故障、通信异常或计算阻塞,那么下游阶段可能无法继续接收数据,上游阶段也可能因为发送队列受阻而停滞。
这意味着流水线并行不仅要考虑计算效率,还要考虑故障恢复、任务重启、通信超时和资源调度等工程问题。
十、今日总结
今天学习的流水线并行,核心可以归纳为以下五点:
第一,切分维度不同。
PP 按照模型网络层进行切分,每张 GPU 负责一段完整的网络层,而不是共同计算同一层。
第二,前向和反向方向相反。
前向传播从第一阶段流向最后阶段,反向传播则从最后阶段返回第一阶段。
第三,流水线气泡是重要的性能损耗。
在本文采用的理想化调度模型下:
增加 Micro-batch 数量可以摊薄气泡,但需要兼顾计算效率、显存和全局批次大小。
第四,1F1B 可以降低激活显存压力。
它通过前向和反向交替执行,减少需要同时保留的激活值数量,但不会直接消除流水线气泡。
第五,PP 更适合承担跨节点的模型扩展任务。
TP 适合节点内部高速互联,PP 适合连接不同计算节点,DP 则负责增加数据处理能力。三者结合,构成大规模模型训练的 3D 并行架构。
从 AI Infra 的角度来看,流水线并行解决的并不只是模型显存不足的问题,而是如何将一个无法放进单台服务器的大模型,合理拆分到多个计算节点上,并尽可能让这些节点持续工作。
这也是大规模分布式训练从单机走向多机的重要一步。
参考资料与技术口径
-
NVIDIA H100 GPU 产品规格:80 GB HBM3 显存及 NVLink 互联规格。
-
NVIDIA Megatron-LM:模型并行、流水线调度及分布式训练实现。
-
PyTorch Distributed:DDP、FSDP 与分布式训练机制。
-
GPipe:流水线并行训练方法。
-
Llama 3 模型公开架构参数:8B 与 70B 模型配置。
本文计算说明:
文中的 8B 模型 128 GB 训练状态显存,采用 16 字节/参数的简化估算口径;70B 模型跨机通信采用序列长度 4096、Micro-batch 为 1 条序列、BF16 的假设;400 Gb/s 链路按照约 50 GB/s 理论带宽折算。通信耗时为理想估算,不代表实际集群的实测性能。
本文涉及的气泡公式基于理想化、均衡阶段的非交错式流水线时间模型。实际训练还需要考虑阶段负载、通信延迟、调度开销及激活重计算等因素。
更多推荐

所有评论(0)