从单卡瓶颈到多卡协同,揭开大模型分布式训练的底层逻辑
一、学习背景:从单卡 GPU 到多卡分布式训练
前面的学习中,我们已经从三个核心维度认识了一块 GPU:
-
显存容量(Memory Capacity):决定模型、梯度、优化器状态和中间激活值能否放入 GPU。
-
显存带宽(Memory Bandwidth):决定 GPU 内部数据搬运的速度,影响计算单元能否持续获得数据。
-
计算能力(Compute Capability):决定 GPU 每秒能够执行多少浮点运算。
随后,我们又学习了 GPU 之间的互联技术,例如 NVLink 和 InfiniBand,理解了多张 GPU 协同工作时,卡与卡之间的数据传输能力同样会影响整体性能。
那么,当我们真正开始训练一个大模型时,会遇到什么问题?
假设现在有一个实际任务:
-
模型:Llama-3-8B
-
参数规模:80 亿
-
训练方式:全参数微调(Full Fine-Tuning)
-
训练数据:100 亿 Token
-
GPU:NVIDIA H100 80GB
问题来了:
一张 H100 能不能完成这个任务?如果不行,增加 GPU 数量是不是就能解决?
答案是:单纯增加 GPU 数量并不一定能够解决所有问题。
因为大模型训练实际上面临两类完全不同的瓶颈:
-
显存容量不足:模型及训练状态无法装入 GPU。
-
计算吞吐不足:模型能够运行,但是训练时间过长。
这两个问题看起来都是 GPU 不够用,但底层原因完全不同,对应的解决方案也不同。
理解这两个问题,是理解分布式训练的第一步。
二、单卡训练面临的两堵墙
在分析多卡训练之前,需要先明确一个概念:
能不能运行,与能不能高效运行,是两个不同的问题。
2.1 第一堵墙:显存墙(Memory Wall)
显存墙解决的是容量问题。
GPU 运行模型时,不仅需要存储模型参数,还需要存储反向传播产生的梯度、优化器状态,以及训练过程中产生的中间激活值。
以 Llama-3-8B 为例,假设使用 BF16 精度进行全参数微调,并采用 AdamW 优化器。
训练显存可以先按照以下方式进行粗略估算:
| 显存组成 | 单参数占用 | 8B 模型占用 |
|---|---|---|
| 模型参数(BF16) | 2 Bytes | 16 GB |
| 梯度(BF16) | 2 Bytes | 16 GB |
| 优化器状态 | 12 Bytes | 96 GB |
| 合计 | 16 Bytes | 128 GB |
其中:
-
模型参数:保存模型的权重。
-
梯度:保存反向传播计算得到的梯度信息。
-
优化器状态:Adam 类优化器需要维护一阶动量、二阶动量,以及 FP32 主权重等状态。
因此,可以得到一个常用的训练显存粗略估算公式:
其中:
-
:训练所需显存。
-
:模型参数量。
-
:在上述 BF16 + AdamW 配置下,每个参数对应的估算字节数。
对于 8B 模型:
而 NVIDIA H100 SXM 的显存容量为 80GB。
显存缺口为:
这意味着,即使 GPU 的计算能力再强,也无法直接在一张 80GB H100 上容纳上述完整训练状态。
当显存分配超过可用容量时,就可能触发 OOM(Out Of Memory),导致训练任务无法启动或运行中断。
需要注意,16Ψ 是特定训练配置下的估算模型,并不是所有训练任务都固定占用 16 字节/参数。实际显存还受到激活值、临时张量、CUDA 上下文、显存碎片、批次大小以及优化器实现方式等因素影响。
2.2 为什么推理比训练省显存?
这里有一个非常值得思考的现象:
同样是 Llama-3-8B 模型,为什么推理只需要存储模型权重,而训练却需要额外存储大量数据?
因为推理和训练的计算过程不同。
推理阶段:
主要需要:
-
模型权重。
-
KV Cache。
-
前向计算过程中的临时数据。
如果使用 BF16,模型权重约占:
因此,单张 80GB H100 在权重层面可以容纳该模型,并有剩余显存用于 KV Cache 和运行时开销。
训练阶段:
除了模型权重,还需要:
-
梯度。
-
优化器状态。
-
反向传播所需的激活值。
-
各类计算临时空间。
因此,训练显存远远高于单纯的模型权重占用。
这也解释了为什么一个模型可以单卡推理,却无法单卡全参数微调。
2.3 优化器状态为什么是显存优化的重点?
从前面的表格可以看出:
优化器状态占用了 96GB,占整个估算显存的 75%。
这意味着,训练显存优化不能只盯着模型参数,还必须考虑梯度和优化器状态。
这也是 LoRA、QLoRA 等参数高效微调技术能够降低显存需求的重要原因。
以 LoRA 为例:
它冻结原始模型的大部分权重,只训练额外引入的低秩适配矩阵。
由于被冻结的参数不需要计算和保存对应的训练梯度,也不需要维护对应的优化器状态,因此能够显著减少训练资源消耗。
但需要注意,LoRA 并不是完全不需要额外显存,原始模型权重、激活值以及适配器参数仍然需要占用显存。
三、第二堵墙:算力墙(Compute Wall)
显存墙解决的是能不能装下,算力墙解决的是多久能够完成。
假设我们已经通过显存优化或多卡切分解决了显存问题,那么接下来就要分析训练时间。
3.1 大模型训练需要多少计算量?
在 Transformer 模型的粗略估算中,训练一个 Token 所需的浮点运算量通常可以近似为:
其中:
-
(N):模型参数量。
-
6:来自前向传播和反向传播的近似计算量。
对于 8B 模型:
也就是每处理一个 Token,大约需要 480 亿次浮点运算。
假设训练数据规模为 100 亿 Token:
代入:
这就是整个训练任务的理论计算量估算。
需要说明,6N 是常见的近似估算口径,实际计算量会受到模型结构、序列长度、注意力实现、激活检查点和其他训练策略影响。
3.2 GPU 峰值算力不等于实际算力
NVIDIA H100 的 FP16 Tensor Core 密集运算峰值约为 989 TFLOPS(不启用结构化稀疏加速)。
但是,实际训练不可能始终达到峰值算力。
原因包括:
-
显存读写带来的等待。
-
GPU 内部数据依赖。
-
Kernel 启动和调度开销。
-
通信等待。
-
算子实现效率。
-
负载不均衡。
因此,需要引入一个重要指标:
MFU(Model FLOPs Utilization),模型浮点运算利用率。
它表示模型实际执行的浮点运算吞吐与理论峰值算力之间的比例。
假设 H100 的 MFU 为 40%,则有效算力为:
换算成每秒浮点运算次数:
3.3 单卡训练时间估算
训练时间可以通过总计算量除以有效计算吞吐得到:
代入前面的数据:
换算为天:
也就是说,即使不考虑显存问题,一张 H100 也需要大约 14 天才能完成这个假设任务。
如果使用 8 张 GPU,并且能够实现理想的线性加速:
约为 42 小时。
这就是算力墙与显存墙的本质区别:
-
显存墙:装不下,任务无法正常启动。
-
算力墙:能够运行,但是训练效率太低。
另外,989 TFLOPS 是这里选用的密集 FP16 计算口径。H100 的公开 FP16 峰值还存在启用结构化稀疏加速的 1979 TFLOPS 口径,两者不能混用。上述时间估算也只是理想化模型,并非实际训练时间承诺。
四、两堵墙的解决方案:数据并行与模型切分
既然显存墙和算力墙是两个不同的问题,那么解决它们的方法也不一样。
这里需要掌握两个核心思想:
复制模型,解决算力问题;切分模型,解决显存问题。
4.1 数据并行:复制模型,提升计算吞吐
数据并行(Data Parallelism)的基本思想是:
每张 GPU 都保存一份完整模型,然后将训练数据划分成不同批次,分配给不同 GPU 并行处理。
例如,使用 8 张 H100:
-
GPU 0 处理数据集中的第一部分。
-
GPU 1 处理第二部分。
-
GPU 2 处理第三部分。
-
其他 GPU 依次处理各自的数据。
每张 GPU 都独立完成前向传播和反向传播。
在每次参数更新之前,需要对各张 GPU 计算出来的梯度进行同步,确保所有 GPU 使用一致的模型参数。
这种方式叫数据并行。
PyTorch 中常见的实现方式包括:
-
DDP(DistributedDataParallel)。
-
FSDP(Fully Sharded Data Parallel,兼具数据并行和状态分片能力)。
其中,DDP 的核心特点是每张 GPU 都保存完整模型及完整的优化器状态。
因此:
DDP 可以提高计算吞吐,但不会减少单卡模型训练状态的显存占用。
对于前面需要 128GB 显存的 8B 模型,8 张 H100 采用纯 DDP,每张卡仍然需要容纳完整的训练状态。
所以,每张卡依然会面临 48GB 的显存缺口。
这就是为什么不能简单地认为 8 张 80GB GPU 就等于一张 640GB GPU。
GPU 显存是独立的物理资源,不能像普通内存条一样直接合并使用。
4.2 模型并行:切分模型,解决显存瓶颈
模型并行(Model Parallelism)的核心思想是:
不再让每张 GPU 保存完整模型,而是将模型的不同部分分配到多张 GPU 上。
常见技术包括:
1. 张量并行(Tensor Parallelism,TP)
将模型中的大型矩阵运算切分到多张 GPU 上。
例如,一个大型线性层可以拆分成多个矩阵分片,每张 GPU 负责计算其中一部分。
计算完成后,通过 GPU 间通信完成结果合并。
张量并行适合解决单层模型计算和参数存储过大的问题,但对 GPU 互联带宽和通信延迟要求较高。
2. 流水线并行(Pipeline Parallelism,PP)
将模型不同层分配到不同 GPU 或 GPU 组上。
例如,一个包含 32 层 Transformer 的模型:
-
GPU 组 1 负责第 1~8 层。
-
GPU 组 2 负责第 9~16 层。
-
GPU 组 3 负责第 17~24 层。
-
GPU 组 4 负责第 25~32 层。
数据依次经过不同阶段,形成流水线。
它能够降低单张 GPU 需要存储的模型层数,但如果微批次调度不合理,就可能产生流水线空闲,也就是 Bubble。
3. ZeRO(Zero Redundancy Optimizer)
ZeRO 的核心思想是消除数据并行训练中的冗余状态。
传统 DDP 中,每张 GPU 都保存完整的模型参数、梯度和优化器状态。
ZeRO 则通过分片机制,将这些状态分散到不同 GPU 上。
主要分为三个阶段:
-
ZeRO Stage 1:分片优化器状态。
-
ZeRO Stage 2:进一步分片梯度。
-
ZeRO Stage 3:进一步分片模型参数。
其中,Stage 3 能够将模型参数、梯度和优化器状态分散到多个 GPU 上,从而显著降低单卡显存占用。
4. FSDP(Fully Sharded Data Parallel)
FSDP 是 PyTorch 提供的完全分片数据并行方案。
它能够将模型参数、梯度和优化器状态分布到不同 GPU 上,在需要计算时再进行参数聚合,计算完成后根据策略重新分片。
它的目标与 ZeRO Stage 3 类似,都是通过减少冗余状态降低单卡显存压力。
4.3 生产环境为什么需要 3D 并行?
在实际大模型训练集群中,通常不会只使用一种并行策略,而是根据模型规模、GPU 数量、网络拓扑和计算负载组合使用。
最典型的就是 3D 并行:
其中:
-
DP:数据并行度。
-
TP:张量并行度。
-
PP:流水线并行度。
例如:
意味着整个训练任务使用 64 张 GPU:
-
数据并行度为 8。
-
张量并行度为 4。
-
流水线并行度为 2。
通过这种方式,既可以利用数据并行提高吞吐,又可以利用张量并行和流水线并行分摊模型规模。
需要注意,ZeRO 和 FSDP 也可以与其他并行策略组合使用,并不是说它们必须被视为独立于 3D 并行的另一维。
五、多卡训练为什么需要对账?
解决了显存问题和计算问题之后,还会出现一个新的问题:
多张 GPU 各自计算出来的梯度,如何保证最终更新的是同一个模型?
这就涉及分布式训练中非常重要的集合通信技术——AllReduce。
5.1 为什么需要梯度同步?
假设有 8 张 GPU,每张 GPU 都持有一份模型副本。
它们分别处理不同的训练数据,完成反向传播之后,会得到不同的梯度。
假设每张 GPU 得到的梯度分别为:
如果每张 GPU 直接使用自己的梯度更新参数,那么最终就会出现 8 份不同的模型。
这显然不符合数据并行的要求。
因此,需要先将所有 GPU 的梯度进行规约,计算平均梯度:
然后将同步后的梯度提供给各张 GPU,确保它们按照一致的结果更新参数。
这个过程就是 AllReduce。
AllReduce 可以拆解为两个动作:
-
Reduce:将多个节点的数据进行规约,例如求和。
-
All-Gather:将规约后的结果分发到所有节点。
需要注意,实际 NCCL 等通信库可以使用不同算法实现 AllReduce,环形算法只是其中一种典型方式。
5.2 AllReduce 为什么会影响训练速度?
多卡训练并不是简单地把 GPU 数量增加几倍。
每张 GPU 在完成梯度计算之后,都需要等待梯度同步完成,才能进行依赖同步结果的参数更新。
因此,整个训练过程不仅包含计算时间,还包含通信时间。
可以用一个简化公式理解:
这是通信与计算完全串行时的简化模型。
如果使用通信计算重叠技术,部分通信时间可以隐藏在计算过程中,因此实际训练时间还取决于两者的重叠程度。
这也意味着:
GPU 数量越多,不一定就能获得同比例的性能提升。
当通信开销逐渐增大时,新增 GPU 带来的计算收益就可能被通信等待抵消。
六、环形 AllReduce:每张 GPU 到底要搬多少数据?
接下来分析一个非常重要的工程问题:
8 张 H100 在进行梯度同步时,到底需要传输多少数据?
前面已经计算过,8B 模型使用 BF16 时,梯度大小为:
这里的 D 表示每张 GPU 持有的完整梯度数据量。
6.1 为什么不用每张卡向其他所有卡发送数据?
最直观的方法是:
每张 GPU 将自己的 16GB 梯度直接发送给其他 7 张 GPU。
这样每张 GPU 需要发送:
这种通信方式会产生大量重复传输,对网络带宽造成很大压力。
因此,实际分布式训练通常会采用更高效的集合通信算法。
其中,环形 AllReduce 是一种经典实现方式。
6.2 环形 AllReduce 的基本原理
环形 AllReduce 的核心思想是:
将所有 GPU 在逻辑上组成一个环,每张 GPU 只与左右相邻的 GPU 进行数据交换。
假设有 8 张 GPU:
GPU 0 → GPU 1 → GPU 2 → GPU 3 → GPU 4 → GPU 5 → GPU 6 → GPU 7 → GPU 0
将 16GB 梯度数据平均切分成 8 份:
整个过程分成两个阶段。
第一阶段:Reduce-Scatter(规约-散射)
8 张 GPU 将梯度切分成 8 个数据块。
每一步:
-
向右侧邻居发送一个数据块。
-
从左侧邻居接收一个数据块。
-
将收到的数据与本地对应数据块累加。
对于 8 张 GPU,需要进行:
轮通信。
每张 GPU 每轮发送 2GB,因此:
7 轮结束后,每张 GPU 都拥有一个已经完成全局规约的数据块。
第二阶段:All-Gather(全收集)
接下来,将每张 GPU 已经完成规约的数据块沿着环传递。
同样需要:
轮通信。
每张 GPU 发送:
最终,所有 GPU 都拥有完整的 16GB 梯度结果。
6.3 每张 GPU 的总通信量
两个阶段加起来:
因此:
8 张 GPU 进行一次环形 AllReduce,每张 GPU 发送 28GB,同时接收 28GB。
这里的 28GB 是每张 GPU 的单方向发送量,不是发送量与接收量相加后的总量。
如果将 8 张 GPU 的发送量相加:
所以必须分清:
-
每卡发送量:28GB。
-
每卡接收量:28GB。
-
全网总发送量:224GB。
-
全网总接收量:224GB。
计算单卡通信耗时时,应使用每卡发送量和对应链路带宽,而不是直接使用全网总发送量。
6.4 环形 AllReduce 的通用公式
对于 N 张 GPU,每张 GPU 初始持有 D 大小的数据:
每卡在 Reduce-Scatter 阶段发送:
每卡在 All-Gather 阶段发送:
所以每卡总发送量为:
代入 8 张 GPU 和 16GB 梯度:
当 GPU 数量 N 越来越大时:
也就是说,每卡的通信量逐渐接近 2D。
对于 16GB 梯度:
这就是为什么很多资料会直接将环形 AllReduce 的每卡通信量近似写成 2D。
但对于 8 张 GPU,精确值是 28GB,而不是 32GB。
七、通信耗时:带宽规格不等于实际性能
计算出通信量之后,还需要知道链路带宽。
因为相同的数据量,使用不同的互联技术,最终耗时会有很大差别。
7.1 8 张 H100 在同一台机器内通信
假设使用 NVLink,采用公开规格中的 900GB/s 双向总带宽口径。
前面算出每张 GPU 需要发送 28GB。
按照 900GB/s 直接估算:
约为:
但是,这里需要特别注意一个工程细节:
900GB/s 是双向带宽口径,不能直接无条件当作单向有效带宽使用。
如果按照 450GB/s 单向带宽计算:
如果实际通信测试中只能达到 350GB/s:
因此,31ms、62ms 和 80ms 并不一定互相矛盾,它们对应的是不同带宽口径和不同性能假设。
实际 AllReduce 时间还会受到通信算法、链路并发、拓扑结构、协议开销和通信库实现影响。
工程上不能简单地将规格书上的峰值带宽直接当成实际通信性能,应该使用 NCCL Tests 等工具进行实测。
7.2 64 张 GPU 跨 8 台服务器会发生什么?
现在将 GPU 数量从 8 张扩展到 64 张。
假设:
-
一台服务器安装 8 张 H100。
-
一共有 8 台服务器。
-
每张 GPU 梯度仍然为 16GB。
-
采用环形 AllReduce。
-
机内通信带宽按 900GB/s 的双向口径进行简化估算。
-
跨机网络采用 InfiniBand NDR 400Gb/s。
首先计算每张 GPU 的通信量:
相比 8 卡时的 28GB,只增加了:
可以发现:
GPU 数量增加了 8 倍,但是每张 GPU 的通信量只增加了 12.5%。
从数据量来看,环形 AllReduce 具有较好的扩展性。
但是,真正的问题在于网络拓扑。
7.3 为什么跨机通信成为瓶颈?
假设 64 张 GPU 按照服务器顺序编号:
-
GPU 0~7:服务器 1。
-
GPU 8~15:服务器 2。
-
GPU 16~23:服务器 3。
-
依此类推。
在这个逻辑环中:
-
56 条链路属于服务器内部通信。
-
8 条链路属于跨服务器通信。
每张 GPU 的总发送量为 31.5GB。
按照前面采用的简化估算:
机内通信:
跨机通信:
InfiniBand NDR 400Gb/s 换算成理论单向带宽:
因此:
跨机通信明显慢于机内通信。
这里的 630ms 是按照单条跨机链路承担完整 31.5GB 数据、并采用理想带宽计算的简化估算,不应直接当成 NCCL 实际 AllReduce 时间。
真实的环形通信是分块流水执行的,各链路并发工作,整体性能还取决于跨机链路数量、网络拓扑、网卡数量、NCCL 算法和路由情况。
但这个估算揭示了一个关键事实:
多卡训练的瓶颈不一定是 GPU 算力,也可能是 GPU 之间的通信网络。
7.4 为什么增加 GPU 反而可能降低效率?
假设原来 8 张 GPU 完成一个训练步骤需要 2 秒。
如果计算完全线性扩展,增加到 64 张 GPU 后,理论上应该变成:
但是,如果实际耗时是 0.5 秒:
虽然 GPU 数量增加了 8 倍,但实际只获得了 4 倍加速。
并行效率为:
扩展效率 = 加速比 ÷ GPU 数量变化倍数 × 100%
这说明新增的计算资源没有完全转化成训练性能。
原因可能包括:
-
GPU 间通信开销。
-
跨机网络带宽不足。
-
梯度同步等待。
-
数据加载速度不足。
-
GPU 负载不均衡。
-
Kernel 执行效率下降。
因此,在实际集群建设中,不能只关注 GPU 数量,还需要同时考虑 GPU 互联、网络带宽、通信拓扑和软件栈优化。
八、为什么大规模集群需要分层通信?
当 GPU 数量从 8 张扩展到 64 张甚至更多时,单纯使用一个跨机大环,往往不是最优方案。
一种常见的优化思想是分层 AllReduce。
其核心思想是:
先在服务器内部完成梯度聚合,再通过网络进行跨服务器通信,最后在服务器内部完成结果分发。
以 8 台服务器、每台 8 张 GPU 为例:
第一步:机内 Reduce-Scatter 或本地聚合。
每台服务器先将 8 张 GPU 的梯度进行本地规约。
第二步:跨机 AllReduce。
将每台服务器的聚合结果通过 InfiniBand 发送到其他服务器,完成跨机同步。
第三步:机内 All-Gather。
每台服务器再将同步后的结果分发给本机其他 GPU。
这样做的好处是:
-
减少跨机通信的数据量。
-
充分利用 NVLink 等高速机内互联。
-
降低跨机网络的压力。
-
让通信模式更加适应多机多卡拓扑。
不过,这并不意味着跨机数据量一定简单地缩小到原来的八分之一。
具体减少多少,取决于采用的分片方式、通信算法、每台服务器的 GPU 数量以及网卡拓扑。
实际生产环境中,NCCL 会根据硬件拓扑选择合适的通信算法和通信路径,例如 Ring、Tree 以及分层通信方案。
这也说明,分布式训练不只是 GPU 之间的软件协作,更是计算、存储、网络和通信库之间的协同优化。
九、参数服务器:为什么中心化架构容易成为瓶颈?
除了环形 AllReduce,还有一种经典的分布式通信架构:
Parameter Server(参数服务器)。
它的基本结构是:
-
多个 Worker 负责模型计算。
-
Parameter Server 负责保存和更新模型参数。
-
Worker 将计算得到的梯度发送给 Parameter Server。
-
Parameter Server 聚合梯度,再将更新后的参数或相关结果发送回 Worker。
假设有 8 个 Worker,每个 Worker 都需要发送 16GB 梯度。
那么中心节点需要接收:
同时,还需要将更新后的数据发送回各个 Worker。
中心节点需要承担大量的数据收发压力。
随着 Worker 数量持续增加,中心节点就可能成为整个系统的通信瓶颈。
而环形 AllReduce 则将通信任务分散到多个节点之间,不依赖单一中心节点完成全部数据聚合。
两种方案的核心差异在于:
-
参数服务器:中心化聚合,中心节点容易形成带宽瓶颈。
-
环形 AllReduce:分布式协作,将数据交换分散到多个节点。
需要注意,参数服务器并非一定无法扩展,实际系统可以采用参数分片、多个参数服务器和层级聚合等方式扩展。这里讨论的是单中心节点架构的典型瓶颈。
十、从工程角度重新理解多卡训练
通过前面的分析,可以把多卡训练拆成三个层次。
10.1 第一层:显存规划
首先需要回答:
模型能不能放进去?
需要考虑:
-
模型参数占用。
-
梯度占用。
-
优化器状态占用。
-
激活值占用。
-
临时计算空间。
如果单卡放不下,就需要考虑 LoRA、量化、梯度检查点、ZeRO、FSDP、TP、PP 等技术。
10.2 第二层:计算规划
模型能够运行之后,需要考虑:
训练需要多长时间?
需要分析:
-
GPU 峰值算力。
-
MFU。
-
Token 数量。
-
Batch Size。
-
序列长度。
-
并行规模。
如果单卡计算吞吐不足,可以考虑增加数据并行度,提高整体计算吞吐。
10.3 第三层:通信规划
GPU 数量增加后,还需要考虑:
GPU 之间的数据能否快速同步?
需要关注:
-
NVLink 带宽。
-
PCIe 带宽。
-
InfiniBand 带宽。
-
NCCL 通信效率。
-
AllReduce 数据量。
-
网络拓扑。
-
机内与跨机通信比例。
当通信时间占比越来越高时,就需要重新设计并行策略和集群网络。
因此,真正成熟的 AI Infra 设计,不是简单地增加 GPU,而是根据模型规模、训练目标和网络拓扑,合理分配计算任务与通信任务。
十一、今日核心知识总结
今天学习的重点可以归纳为以下六点:
-
单卡训练面临两堵墙。 显存墙决定模型能否装入 GPU,算力墙决定模型需要多长时间才能训练完成,两者不能混为一谈。
-
8B 模型全参数微调显存需求较高。 在 BF16 + AdamW 的简化估算下,训练状态约占 128GB,超过 H100 80GB 的单卡显存容量。
-
数据并行与模型并行解决的问题不同。 DDP 通过复制模型、划分数据提高计算吞吐;ZeRO、FSDP、TP 和 PP 等技术通过分片降低单卡资源压力。
-
多卡训练离不开梯度同步。 AllReduce 负责聚合各 GPU 的梯度,保证模型参数更新的一致性,但通信也会引入额外开销。
-
环形 AllReduce 的通信量具有可扩展性。 每卡发送量为:
8 卡、16GB 梯度的情况下,每卡发送 28GB,全网总发送量为 224GB。
-
大规模训练的瓶颈可能从计算转移到通信。 当 GPU 从单机扩展到多机时,跨机网络带宽、通信拓扑和集合通信算法会直接影响整体训练效率。
参考资料与数据口径
硬件规格参考:
-
NVIDIA H100 GPU:80GB HBM 显存。
-
NVIDIA H200 GPU:141GB HBM 显存。
-
H100 FP16 Tensor Core 密集运算峰值:约 989 TFLOPS。
-
H100 FP16 结构化稀疏运算峰值:约 1979 TFLOPS。
-
H100 NVLink 双向带宽:最高约 900GB/s。
-
InfiniBand NDR:400Gb/s 单端口理论带宽。
技术概念:
-
Data Parallelism(数据并行)
-
Tensor Parallelism(张量并行)
-
Pipeline Parallelism(流水线并行)
-
DDP(Distributed Data Parallel)
-
ZeRO(Zero Redundancy Optimizer)
-
FSDP(Fully Sharded Data Parallel)
-
AllReduce
-
Reduce-Scatter
-
All-Gather
-
MFU(Model FLOPs Utilization)
-
NCCL(NVIDIA Collective Communications Library)
本文估算说明:
本文中的 8B 模型、100 亿 Token、40% MFU、14 天训练时间、42 小时多卡训练时间,以及 28GB、31.5GB、224GB 等数据,均建立在明确的计算假设之上。
通信耗时中的 31ms、62ms 和 630ms 是不同带宽口径下的简化估算,不代表实际集群的固定实测结果。实际部署时,应结合 NCCL Tests、GPU 拓扑信息和真实训练日志进行验证。
我对原始材料做了几处工程化处理,下面这些地方尤其值得你掌握。
1. 128GB 不等于完整的训练峰值显存需求。
16Ψ 是参数、梯度和优化器状态的估算,并未包含激活值和运行时开销。因此,实际训练时需要预留额外显存。
2. 8 张 80GB GPU 不能简单合并成 640GB。
DDP 每张卡都保存完整训练状态。只有通过 ZeRO、FSDP、TP 等分片策略,才能真正将模型相关状态分散到不同 GPU。
3. 31ms 和 62ms 不能直接当作实测 AllReduce 时间。
900GB/s 是 NVLink 双向带宽规格口径。实际通信耗时需要考虑单向带宽、拓扑、并发和通信库效率。
4. 64 卡的 630ms 是简化链路估算,不是实际 NCCL 性能结论。
尤其是分层 AllReduce,不能只凭一个 2GB 数据块就断言通信时间一定是 100ms。还需要考虑具体通信算法、网卡数量、网络拓扑以及机内规约方式。
这篇文章最值得记住的一句话:
单卡训练看显存和算力,多卡训练还必须看通信。真正决定分布式训练效率的,不只是有多少张 GPU,而是计算资源、显存资源和通信资源能否协同工作。
更多推荐

所有评论(0)