一、学习背景:从单卡 GPU 到多卡分布式训练

前面的学习中,我们已经从三个核心维度认识了一块 GPU:

  1. 显存容量(Memory Capacity):决定模型、梯度、优化器状态和中间激活值能否放入 GPU。

  2. 显存带宽(Memory Bandwidth):决定 GPU 内部数据搬运的速度,影响计算单元能否持续获得数据。

  3. 计算能力(Compute Capability):决定 GPU 每秒能够执行多少浮点运算。

随后,我们又学习了 GPU 之间的互联技术,例如 NVLink 和 InfiniBand,理解了多张 GPU 协同工作时,卡与卡之间的数据传输能力同样会影响整体性能。

那么,当我们真正开始训练一个大模型时,会遇到什么问题?

假设现在有一个实际任务:

  • 模型:Llama-3-8B

  • 参数规模:80 亿

  • 训练方式:全参数微调(Full Fine-Tuning)

  • 训练数据:100 亿 Token

  • GPU:NVIDIA H100 80GB

问题来了:

一张 H100 能不能完成这个任务?如果不行,增加 GPU 数量是不是就能解决?

答案是:单纯增加 GPU 数量并不一定能够解决所有问题。

因为大模型训练实际上面临两类完全不同的瓶颈:

  • 显存容量不足:模型及训练状态无法装入 GPU。

  • 计算吞吐不足:模型能够运行,但是训练时间过长。

这两个问题看起来都是 GPU 不够用,但底层原因完全不同,对应的解决方案也不同。

理解这两个问题,是理解分布式训练的第一步。


二、单卡训练面临的两堵墙

在分析多卡训练之前,需要先明确一个概念:

能不能运行,与能不能高效运行,是两个不同的问题。

2.1 第一堵墙:显存墙(Memory Wall)

显存墙解决的是容量问题。

GPU 运行模型时,不仅需要存储模型参数,还需要存储反向传播产生的梯度、优化器状态,以及训练过程中产生的中间激活值。

以 Llama-3-8B 为例,假设使用 BF16 精度进行全参数微调,并采用 AdamW 优化器。

训练显存可以先按照以下方式进行粗略估算:

显存组成单参数占用8B 模型占用
模型参数(BF16)2 Bytes16 GB
梯度(BF16)2 Bytes16 GB
优化器状态12 Bytes96 GB
合计16 Bytes128 GB

其中:

  • 模型参数:保存模型的权重。

  • 梯度:保存反向传播计算得到的梯度信息。

  • 优化器状态:Adam 类优化器需要维护一阶动量、二阶动量,以及 FP32 主权重等状态。

因此,可以得到一个常用的训练显存粗略估算公式:

其中:

  • :训练所需显存。

  • :模型参数量。

  • :在上述 BF16 + AdamW 配置下,每个参数对应的估算字节数。

对于 8B 模型:

而 NVIDIA H100 SXM 的显存容量为 80GB。

显存缺口为:

这意味着,即使 GPU 的计算能力再强,也无法直接在一张 80GB H100 上容纳上述完整训练状态。

当显存分配超过可用容量时,就可能触发 OOM(Out Of Memory),导致训练任务无法启动或运行中断。

需要注意,16Ψ 是特定训练配置下的估算模型,并不是所有训练任务都固定占用 16 字节/参数。实际显存还受到激活值、临时张量、CUDA 上下文、显存碎片、批次大小以及优化器实现方式等因素影响。

2.2 为什么推理比训练省显存?

这里有一个非常值得思考的现象:

同样是 Llama-3-8B 模型,为什么推理只需要存储模型权重,而训练却需要额外存储大量数据?

因为推理和训练的计算过程不同。

推理阶段:

主要需要:

  • 模型权重。

  • KV Cache。

  • 前向计算过程中的临时数据。

如果使用 BF16,模型权重约占:

因此,单张 80GB H100 在权重层面可以容纳该模型,并有剩余显存用于 KV Cache 和运行时开销。

训练阶段:

除了模型权重,还需要:

  • 梯度。

  • 优化器状态。

  • 反向传播所需的激活值。

  • 各类计算临时空间。

因此,训练显存远远高于单纯的模型权重占用。

这也解释了为什么一个模型可以单卡推理,却无法单卡全参数微调。

2.3 优化器状态为什么是显存优化的重点?

从前面的表格可以看出:

优化器状态占用了 96GB,占整个估算显存的 75%。

这意味着,训练显存优化不能只盯着模型参数,还必须考虑梯度和优化器状态。

这也是 LoRA、QLoRA 等参数高效微调技术能够降低显存需求的重要原因。

以 LoRA 为例:

它冻结原始模型的大部分权重,只训练额外引入的低秩适配矩阵。

由于被冻结的参数不需要计算和保存对应的训练梯度,也不需要维护对应的优化器状态,因此能够显著减少训练资源消耗。

但需要注意,LoRA 并不是完全不需要额外显存,原始模型权重、激活值以及适配器参数仍然需要占用显存。


三、第二堵墙:算力墙(Compute Wall)

显存墙解决的是能不能装下,算力墙解决的是多久能够完成。

假设我们已经通过显存优化或多卡切分解决了显存问题,那么接下来就要分析训练时间。

3.1 大模型训练需要多少计算量?

在 Transformer 模型的粗略估算中,训练一个 Token 所需的浮点运算量通常可以近似为:

其中:

  • (N):模型参数量。

  • 6:来自前向传播和反向传播的近似计算量。

对于 8B 模型:

也就是每处理一个 Token,大约需要 480 亿次浮点运算。

假设训练数据规模为 100 亿 Token:

代入:

这就是整个训练任务的理论计算量估算。

需要说明,6N 是常见的近似估算口径,实际计算量会受到模型结构、序列长度、注意力实现、激活检查点和其他训练策略影响。

3.2 GPU 峰值算力不等于实际算力

NVIDIA H100 的 FP16 Tensor Core 密集运算峰值约为 989 TFLOPS(不启用结构化稀疏加速)。

但是,实际训练不可能始终达到峰值算力。

原因包括:

  • 显存读写带来的等待。

  • GPU 内部数据依赖。

  • Kernel 启动和调度开销。

  • 通信等待。

  • 算子实现效率。

  • 负载不均衡。

因此,需要引入一个重要指标:

MFU(Model FLOPs Utilization),模型浮点运算利用率。

它表示模型实际执行的浮点运算吞吐与理论峰值算力之间的比例。

假设 H100 的 MFU 为 40%,则有效算力为:

换算成每秒浮点运算次数:

3.3 单卡训练时间估算

训练时间可以通过总计算量除以有效计算吞吐得到:

代入前面的数据:

换算为天:

也就是说,即使不考虑显存问题,一张 H100 也需要大约 14 天才能完成这个假设任务。

如果使用 8 张 GPU,并且能够实现理想的线性加速:


约为 42 小时。

这就是算力墙与显存墙的本质区别:

  • 显存墙:装不下,任务无法正常启动。

  • 算力墙:能够运行,但是训练效率太低。

另外,989 TFLOPS 是这里选用的密集 FP16 计算口径。H100 的公开 FP16 峰值还存在启用结构化稀疏加速的 1979 TFLOPS 口径,两者不能混用。上述时间估算也只是理想化模型,并非实际训练时间承诺。


四、两堵墙的解决方案:数据并行与模型切分

既然显存墙和算力墙是两个不同的问题,那么解决它们的方法也不一样。

这里需要掌握两个核心思想:

复制模型,解决算力问题;切分模型,解决显存问题。

4.1 数据并行:复制模型,提升计算吞吐

数据并行(Data Parallelism)的基本思想是:

每张 GPU 都保存一份完整模型,然后将训练数据划分成不同批次,分配给不同 GPU 并行处理。

例如,使用 8 张 H100:

  • GPU 0 处理数据集中的第一部分。

  • GPU 1 处理第二部分。

  • GPU 2 处理第三部分。

  • 其他 GPU 依次处理各自的数据。

每张 GPU 都独立完成前向传播和反向传播。

在每次参数更新之前,需要对各张 GPU 计算出来的梯度进行同步,确保所有 GPU 使用一致的模型参数。

这种方式叫数据并行。

PyTorch 中常见的实现方式包括:

  • DDP(DistributedDataParallel)。

  • FSDP(Fully Sharded Data Parallel,兼具数据并行和状态分片能力)。

其中,DDP 的核心特点是每张 GPU 都保存完整模型及完整的优化器状态。

因此:

DDP 可以提高计算吞吐,但不会减少单卡模型训练状态的显存占用。

对于前面需要 128GB 显存的 8B 模型,8 张 H100 采用纯 DDP,每张卡仍然需要容纳完整的训练状态。

所以,每张卡依然会面临 48GB 的显存缺口。

这就是为什么不能简单地认为 8 张 80GB GPU 就等于一张 640GB GPU。

GPU 显存是独立的物理资源,不能像普通内存条一样直接合并使用。

4.2 模型并行:切分模型,解决显存瓶颈

模型并行(Model Parallelism)的核心思想是:

不再让每张 GPU 保存完整模型,而是将模型的不同部分分配到多张 GPU 上。

常见技术包括:

1. 张量并行(Tensor Parallelism,TP)

将模型中的大型矩阵运算切分到多张 GPU 上。

例如,一个大型线性层可以拆分成多个矩阵分片,每张 GPU 负责计算其中一部分。

计算完成后,通过 GPU 间通信完成结果合并。

张量并行适合解决单层模型计算和参数存储过大的问题,但对 GPU 互联带宽和通信延迟要求较高。

2. 流水线并行(Pipeline Parallelism,PP)

将模型不同层分配到不同 GPU 或 GPU 组上。

例如,一个包含 32 层 Transformer 的模型:

  • GPU 组 1 负责第 1~8 层。

  • GPU 组 2 负责第 9~16 层。

  • GPU 组 3 负责第 17~24 层。

  • GPU 组 4 负责第 25~32 层。

数据依次经过不同阶段,形成流水线。

它能够降低单张 GPU 需要存储的模型层数,但如果微批次调度不合理,就可能产生流水线空闲,也就是 Bubble。

3. ZeRO(Zero Redundancy Optimizer)

ZeRO 的核心思想是消除数据并行训练中的冗余状态。

传统 DDP 中,每张 GPU 都保存完整的模型参数、梯度和优化器状态。

ZeRO 则通过分片机制,将这些状态分散到不同 GPU 上。

主要分为三个阶段:

  • ZeRO Stage 1:分片优化器状态。

  • ZeRO Stage 2:进一步分片梯度。

  • ZeRO Stage 3:进一步分片模型参数。

其中,Stage 3 能够将模型参数、梯度和优化器状态分散到多个 GPU 上,从而显著降低单卡显存占用。

4. FSDP(Fully Sharded Data Parallel)

FSDP 是 PyTorch 提供的完全分片数据并行方案。

它能够将模型参数、梯度和优化器状态分布到不同 GPU 上,在需要计算时再进行参数聚合,计算完成后根据策略重新分片。

它的目标与 ZeRO Stage 3 类似,都是通过减少冗余状态降低单卡显存压力。

4.3 生产环境为什么需要 3D 并行?

在实际大模型训练集群中,通常不会只使用一种并行策略,而是根据模型规模、GPU 数量、网络拓扑和计算负载组合使用。

最典型的就是 3D 并行:

其中:

  • DP:数据并行度。

  • TP:张量并行度。

  • PP:流水线并行度。

例如:

意味着整个训练任务使用 64 张 GPU:

  • 数据并行度为 8。

  • 张量并行度为 4。

  • 流水线并行度为 2。

通过这种方式,既可以利用数据并行提高吞吐,又可以利用张量并行和流水线并行分摊模型规模。

需要注意,ZeRO 和 FSDP 也可以与其他并行策略组合使用,并不是说它们必须被视为独立于 3D 并行的另一维。


五、多卡训练为什么需要对账?

解决了显存问题和计算问题之后,还会出现一个新的问题:

多张 GPU 各自计算出来的梯度,如何保证最终更新的是同一个模型?

这就涉及分布式训练中非常重要的集合通信技术——AllReduce。

5.1 为什么需要梯度同步?

假设有 8 张 GPU,每张 GPU 都持有一份模型副本。

它们分别处理不同的训练数据,完成反向传播之后,会得到不同的梯度。

假设每张 GPU 得到的梯度分别为:

如果每张 GPU 直接使用自己的梯度更新参数,那么最终就会出现 8 份不同的模型。

这显然不符合数据并行的要求。

因此,需要先将所有 GPU 的梯度进行规约,计算平均梯度:

然后将同步后的梯度提供给各张 GPU,确保它们按照一致的结果更新参数。

这个过程就是 AllReduce。

AllReduce 可以拆解为两个动作:

  • Reduce:将多个节点的数据进行规约,例如求和。

  • All-Gather:将规约后的结果分发到所有节点。

需要注意,实际 NCCL 等通信库可以使用不同算法实现 AllReduce,环形算法只是其中一种典型方式。

5.2 AllReduce 为什么会影响训练速度?

多卡训练并不是简单地把 GPU 数量增加几倍。

每张 GPU 在完成梯度计算之后,都需要等待梯度同步完成,才能进行依赖同步结果的参数更新。

因此,整个训练过程不仅包含计算时间,还包含通信时间。

可以用一个简化公式理解:

这是通信与计算完全串行时的简化模型。

如果使用通信计算重叠技术,部分通信时间可以隐藏在计算过程中,因此实际训练时间还取决于两者的重叠程度。

这也意味着:

GPU 数量越多,不一定就能获得同比例的性能提升。

当通信开销逐渐增大时,新增 GPU 带来的计算收益就可能被通信等待抵消。


六、环形 AllReduce:每张 GPU 到底要搬多少数据?

接下来分析一个非常重要的工程问题:

8 张 H100 在进行梯度同步时,到底需要传输多少数据?

前面已经计算过,8B 模型使用 BF16 时,梯度大小为:

这里的 D 表示每张 GPU 持有的完整梯度数据量。

6.1 为什么不用每张卡向其他所有卡发送数据?

最直观的方法是:

每张 GPU 将自己的 16GB 梯度直接发送给其他 7 张 GPU。

这样每张 GPU 需要发送:

这种通信方式会产生大量重复传输,对网络带宽造成很大压力。

因此,实际分布式训练通常会采用更高效的集合通信算法。

其中,环形 AllReduce 是一种经典实现方式。

6.2 环形 AllReduce 的基本原理

环形 AllReduce 的核心思想是:

将所有 GPU 在逻辑上组成一个环,每张 GPU 只与左右相邻的 GPU 进行数据交换。

假设有 8 张 GPU:

GPU 0 → GPU 1 → GPU 2 → GPU 3 → GPU 4 → GPU 5 → GPU 6 → GPU 7 → GPU 0

将 16GB 梯度数据平均切分成 8 份:

整个过程分成两个阶段。

第一阶段:Reduce-Scatter(规约-散射)

8 张 GPU 将梯度切分成 8 个数据块。

每一步:

  • 向右侧邻居发送一个数据块。

  • 从左侧邻居接收一个数据块。

  • 将收到的数据与本地对应数据块累加。

对于 8 张 GPU,需要进行:

轮通信。

每张 GPU 每轮发送 2GB,因此:

7 轮结束后,每张 GPU 都拥有一个已经完成全局规约的数据块。

第二阶段:All-Gather(全收集)

接下来,将每张 GPU 已经完成规约的数据块沿着环传递。

同样需要:

轮通信。

每张 GPU 发送:

最终,所有 GPU 都拥有完整的 16GB 梯度结果。

6.3 每张 GPU 的总通信量

两个阶段加起来:

因此:

8 张 GPU 进行一次环形 AllReduce,每张 GPU 发送 28GB,同时接收 28GB。

这里的 28GB 是每张 GPU 的单方向发送量,不是发送量与接收量相加后的总量。

如果将 8 张 GPU 的发送量相加:

所以必须分清:

  • 每卡发送量:28GB。

  • 每卡接收量:28GB。

  • 全网总发送量:224GB。

  • 全网总接收量:224GB。

计算单卡通信耗时时,应使用每卡发送量和对应链路带宽,而不是直接使用全网总发送量。

6.4 环形 AllReduce 的通用公式

对于 N 张 GPU,每张 GPU 初始持有 D 大小的数据:

每卡在 Reduce-Scatter 阶段发送:

每卡在 All-Gather 阶段发送:

所以每卡总发送量为:

代入 8 张 GPU 和 16GB 梯度:

当 GPU 数量 N 越来越大时:

也就是说,每卡的通信量逐渐接近 2D。

对于 16GB 梯度:

这就是为什么很多资料会直接将环形 AllReduce 的每卡通信量近似写成 2D。

但对于 8 张 GPU,精确值是 28GB,而不是 32GB。


七、通信耗时:带宽规格不等于实际性能

计算出通信量之后,还需要知道链路带宽。

因为相同的数据量,使用不同的互联技术,最终耗时会有很大差别。

7.1 8 张 H100 在同一台机器内通信

假设使用 NVLink,采用公开规格中的 900GB/s 双向总带宽口径。

前面算出每张 GPU 需要发送 28GB。

按照 900GB/s 直接估算:

约为:

但是,这里需要特别注意一个工程细节:

900GB/s 是双向带宽口径,不能直接无条件当作单向有效带宽使用。

如果按照 450GB/s 单向带宽计算:

如果实际通信测试中只能达到 350GB/s:

因此,31ms、62ms 和 80ms 并不一定互相矛盾,它们对应的是不同带宽口径和不同性能假设。

实际 AllReduce 时间还会受到通信算法、链路并发、拓扑结构、协议开销和通信库实现影响。

工程上不能简单地将规格书上的峰值带宽直接当成实际通信性能,应该使用 NCCL Tests 等工具进行实测。

7.2 64 张 GPU 跨 8 台服务器会发生什么?

现在将 GPU 数量从 8 张扩展到 64 张。

假设:

  • 一台服务器安装 8 张 H100。

  • 一共有 8 台服务器。

  • 每张 GPU 梯度仍然为 16GB。

  • 采用环形 AllReduce。

  • 机内通信带宽按 900GB/s 的双向口径进行简化估算。

  • 跨机网络采用 InfiniBand NDR 400Gb/s。

首先计算每张 GPU 的通信量:

相比 8 卡时的 28GB,只增加了:

可以发现:

GPU 数量增加了 8 倍,但是每张 GPU 的通信量只增加了 12.5%。

从数据量来看,环形 AllReduce 具有较好的扩展性。

但是,真正的问题在于网络拓扑。

7.3 为什么跨机通信成为瓶颈?

假设 64 张 GPU 按照服务器顺序编号:

  • GPU 0~7:服务器 1。

  • GPU 8~15:服务器 2。

  • GPU 16~23:服务器 3。

  • 依此类推。

在这个逻辑环中:

  • 56 条链路属于服务器内部通信。

  • 8 条链路属于跨服务器通信。

每张 GPU 的总发送量为 31.5GB。

按照前面采用的简化估算:

机内通信:

跨机通信:

InfiniBand NDR 400Gb/s 换算成理论单向带宽:

因此:

跨机通信明显慢于机内通信。

这里的 630ms 是按照单条跨机链路承担完整 31.5GB 数据、并采用理想带宽计算的简化估算,不应直接当成 NCCL 实际 AllReduce 时间。

真实的环形通信是分块流水执行的,各链路并发工作,整体性能还取决于跨机链路数量、网络拓扑、网卡数量、NCCL 算法和路由情况。

但这个估算揭示了一个关键事实:

多卡训练的瓶颈不一定是 GPU 算力,也可能是 GPU 之间的通信网络。

7.4 为什么增加 GPU 反而可能降低效率?

假设原来 8 张 GPU 完成一个训练步骤需要 2 秒。

如果计算完全线性扩展,增加到 64 张 GPU 后,理论上应该变成:

但是,如果实际耗时是 0.5 秒:

虽然 GPU 数量增加了 8 倍,但实际只获得了 4 倍加速。

并行效率为:
扩展效率 = 加速比 ÷ GPU 数量变化倍数 × 100%

这说明新增的计算资源没有完全转化成训练性能。

原因可能包括:

  • GPU 间通信开销。

  • 跨机网络带宽不足。

  • 梯度同步等待。

  • 数据加载速度不足。

  • GPU 负载不均衡。

  • Kernel 执行效率下降。

因此,在实际集群建设中,不能只关注 GPU 数量,还需要同时考虑 GPU 互联、网络带宽、通信拓扑和软件栈优化。


八、为什么大规模集群需要分层通信?

当 GPU 数量从 8 张扩展到 64 张甚至更多时,单纯使用一个跨机大环,往往不是最优方案。

一种常见的优化思想是分层 AllReduce。

其核心思想是:

先在服务器内部完成梯度聚合,再通过网络进行跨服务器通信,最后在服务器内部完成结果分发。

以 8 台服务器、每台 8 张 GPU 为例:

第一步:机内 Reduce-Scatter 或本地聚合。

每台服务器先将 8 张 GPU 的梯度进行本地规约。

第二步:跨机 AllReduce。

将每台服务器的聚合结果通过 InfiniBand 发送到其他服务器,完成跨机同步。

第三步:机内 All-Gather。

每台服务器再将同步后的结果分发给本机其他 GPU。

这样做的好处是:

  • 减少跨机通信的数据量。

  • 充分利用 NVLink 等高速机内互联。

  • 降低跨机网络的压力。

  • 让通信模式更加适应多机多卡拓扑。

不过,这并不意味着跨机数据量一定简单地缩小到原来的八分之一。

具体减少多少,取决于采用的分片方式、通信算法、每台服务器的 GPU 数量以及网卡拓扑。

实际生产环境中,NCCL 会根据硬件拓扑选择合适的通信算法和通信路径,例如 Ring、Tree 以及分层通信方案。

这也说明,分布式训练不只是 GPU 之间的软件协作,更是计算、存储、网络和通信库之间的协同优化。


九、参数服务器:为什么中心化架构容易成为瓶颈?

除了环形 AllReduce,还有一种经典的分布式通信架构:

Parameter Server(参数服务器)。

它的基本结构是:

  • 多个 Worker 负责模型计算。

  • Parameter Server 负责保存和更新模型参数。

  • Worker 将计算得到的梯度发送给 Parameter Server。

  • Parameter Server 聚合梯度,再将更新后的参数或相关结果发送回 Worker。

假设有 8 个 Worker,每个 Worker 都需要发送 16GB 梯度。

那么中心节点需要接收:

同时,还需要将更新后的数据发送回各个 Worker。

中心节点需要承担大量的数据收发压力。

随着 Worker 数量持续增加,中心节点就可能成为整个系统的通信瓶颈。

而环形 AllReduce 则将通信任务分散到多个节点之间,不依赖单一中心节点完成全部数据聚合。

两种方案的核心差异在于:

  • 参数服务器:中心化聚合,中心节点容易形成带宽瓶颈。

  • 环形 AllReduce:分布式协作,将数据交换分散到多个节点。

需要注意,参数服务器并非一定无法扩展,实际系统可以采用参数分片、多个参数服务器和层级聚合等方式扩展。这里讨论的是单中心节点架构的典型瓶颈。


十、从工程角度重新理解多卡训练

通过前面的分析,可以把多卡训练拆成三个层次。

10.1 第一层:显存规划

首先需要回答:

模型能不能放进去?

需要考虑:

  • 模型参数占用。

  • 梯度占用。

  • 优化器状态占用。

  • 激活值占用。

  • 临时计算空间。

如果单卡放不下,就需要考虑 LoRA、量化、梯度检查点、ZeRO、FSDP、TP、PP 等技术。

10.2 第二层:计算规划

模型能够运行之后,需要考虑:

训练需要多长时间?

需要分析:

  • GPU 峰值算力。

  • MFU。

  • Token 数量。

  • Batch Size。

  • 序列长度。

  • 并行规模。

如果单卡计算吞吐不足,可以考虑增加数据并行度,提高整体计算吞吐。

10.3 第三层:通信规划

GPU 数量增加后,还需要考虑:

GPU 之间的数据能否快速同步?

需要关注:

  • NVLink 带宽。

  • PCIe 带宽。

  • InfiniBand 带宽。

  • NCCL 通信效率。

  • AllReduce 数据量。

  • 网络拓扑。

  • 机内与跨机通信比例。

当通信时间占比越来越高时,就需要重新设计并行策略和集群网络。

因此,真正成熟的 AI Infra 设计,不是简单地增加 GPU,而是根据模型规模、训练目标和网络拓扑,合理分配计算任务与通信任务。


十一、今日核心知识总结

今天学习的重点可以归纳为以下六点:

  1. 单卡训练面临两堵墙。 显存墙决定模型能否装入 GPU,算力墙决定模型需要多长时间才能训练完成,两者不能混为一谈。

  2. 8B 模型全参数微调显存需求较高。 在 BF16 + AdamW 的简化估算下,训练状态约占 128GB,超过 H100 80GB 的单卡显存容量。

  3. 数据并行与模型并行解决的问题不同。 DDP 通过复制模型、划分数据提高计算吞吐;ZeRO、FSDP、TP 和 PP 等技术通过分片降低单卡资源压力。

  4. 多卡训练离不开梯度同步。 AllReduce 负责聚合各 GPU 的梯度,保证模型参数更新的一致性,但通信也会引入额外开销。

  5. 环形 AllReduce 的通信量具有可扩展性。 每卡发送量为:

8 卡、16GB 梯度的情况下,每卡发送 28GB,全网总发送量为 224GB。

  1. 大规模训练的瓶颈可能从计算转移到通信。 当 GPU 从单机扩展到多机时,跨机网络带宽、通信拓扑和集合通信算法会直接影响整体训练效率。


参考资料与数据口径

硬件规格参考:

  • NVIDIA H100 GPU:80GB HBM 显存。

  • NVIDIA H200 GPU:141GB HBM 显存。

  • H100 FP16 Tensor Core 密集运算峰值:约 989 TFLOPS。

  • H100 FP16 结构化稀疏运算峰值:约 1979 TFLOPS。

  • H100 NVLink 双向带宽:最高约 900GB/s。

  • InfiniBand NDR:400Gb/s 单端口理论带宽。

技术概念:

  • Data Parallelism(数据并行)

  • Tensor Parallelism(张量并行)

  • Pipeline Parallelism(流水线并行)

  • DDP(Distributed Data Parallel)

  • ZeRO(Zero Redundancy Optimizer)

  • FSDP(Fully Sharded Data Parallel)

  • AllReduce

  • Reduce-Scatter

  • All-Gather

  • MFU(Model FLOPs Utilization)

  • NCCL(NVIDIA Collective Communications Library)

本文估算说明:

本文中的 8B 模型、100 亿 Token、40% MFU、14 天训练时间、42 小时多卡训练时间,以及 28GB、31.5GB、224GB 等数据,均建立在明确的计算假设之上。

通信耗时中的 31ms、62ms 和 630ms 是不同带宽口径下的简化估算,不代表实际集群的固定实测结果。实际部署时,应结合 NCCL Tests、GPU 拓扑信息和真实训练日志进行验证。

我对原始材料做了几处工程化处理,下面这些地方尤其值得你掌握。

1. 128GB 不等于完整的训练峰值显存需求。

16Ψ 是参数、梯度和优化器状态的估算,并未包含激活值和运行时开销。因此,实际训练时需要预留额外显存。

2. 8 张 80GB GPU 不能简单合并成 640GB。

DDP 每张卡都保存完整训练状态。只有通过 ZeRO、FSDP、TP 等分片策略,才能真正将模型相关状态分散到不同 GPU。

3. 31ms 和 62ms 不能直接当作实测 AllReduce 时间。

900GB/s 是 NVLink 双向带宽规格口径。实际通信耗时需要考虑单向带宽、拓扑、并发和通信库效率。

4. 64 卡的 630ms 是简化链路估算,不是实际 NCCL 性能结论。

尤其是分层 AllReduce,不能只凭一个 2GB 数据块就断言通信时间一定是 100ms。还需要考虑具体通信算法、网卡数量、网络拓扑以及机内规约方式。

这篇文章最值得记住的一句话:

单卡训练看显存和算力,多卡训练还必须看通信。真正决定分布式训练效率的,不只是有多少张 GPU,而是计算资源、显存资源和通信资源能否协同工作。

 

Logo

更多推荐