一、为什么需要 ZeRO?

上一篇我们学习了 DDP(Distributed Data Parallel,分布式数据并行)的工作原理。

DDP 的核心思想是:每张 GPU 都保存一份完整的模型副本,每张卡处理不同的数据批次,完成反向传播后,通过 AllReduce 对梯度进行同步,保证所有 GPU 上的模型参数保持一致。

这种方式实现简单,也能有效利用多张 GPU 的计算能力。

但是,DDP 存在一个非常明显的问题:

每张 GPU 都要保存一份完整的模型训练状态,造成了大量显存冗余。

假设现在需要对一个 8B(80 亿参数)的大语言模型进行全参数微调,采用 BF16 精度,使用 Adam 优化器。

每个参数在训练过程中不仅需要保存权重,还需要保存梯度、优化器状态等信息。

按照常见的显存估算方式:

显存组成每个参数占用8B 模型占用
模型参数(BF16)2 Bytes16 GB
梯度(BF16)2 Bytes16 GB
FP32 主参数4 Bytes32 GB
Adam 一阶动量4 Bytes32 GB
Adam 二阶动量4 Bytes32 GB
合计16 Bytes128 GB

因此:
M_{\text{total}}=8\times10^9\times16
M_{\text{total}}=128\text{ GB}

这里的 128 GB 只是模型状态的估算,并没有包含激活值、CUDA 工作空间、通信缓冲区等额外显存开销。

而 NVIDIA H100 单卡显存为 80 GB。

这意味着,即使使用多张 H100 进行 DDP 训练,每张卡依然需要保存完整的 128 GB 模型状态,最终还是会因为显存不足而无法运行。

问题来了:

既然有 8 张 GPU,为什么不能让每张 GPU 只保存一部分模型状态?

这就是 ZeRO 要解决的问题。

二、ZeRO 的核心思想:消除模型状态冗余

ZeRO,全称 Zero Redundancy Optimizer,中文称为零冗余优化器。

它由微软提出,核心思想是:

将原本在每张 GPU 上重复保存的模型训练状态进行切分,让不同 GPU 分别负责不同部分,需要使用时再通过通信临时获取。

先看 DDP 的存储方式。

假设有 8 张 GPU:

  • GPU 0:保存完整模型状态。

  • GPU 1:保存完整模型状态。

  • GPU 2:保存完整模型状态。

  • ...

  • GPU 7:保存完整模型状态。

实际上,8 张卡保存的数据完全相同。

如果把 8 张卡的模型状态放在一起看,就会发现其中存在大量重复数据。

对于 8B 模型,每张卡需要 128 GB,8 张卡总共需要:
M_{\text{DDP}}=8\times128=1024\text{ GB}

其中,只有一份 128 GB 是独立的,其余 896 GB 都是重复存储。

ZeRO 的思路就是把这些冗余状态切分到不同 GPU 上。

例如,8 张卡共同保存一份模型状态:

  • GPU 0 保存八分之一。

  • GPU 1 保存八分之一。

  • GPU 2 保存八分之一。

  • ...

  • GPU 7 保存八分之一。

这样,每张卡只需要负责自己对应的数据分片。

但需要注意:

ZeRO 并不是简单地把模型切开以后就不再通信,而是在不同计算阶段,通过 AllGather、Reduce-Scatter 等集合通信操作,动态获取计算所需的数据。

因此,ZeRO 本质上是一种以通信换显存的优化策略。

三、ZeRO 的三个阶段:从优化器状态到模型参数的逐级切分

ZeRO 将模型训练状态分为三个主要部分:

  1. 模型参数(Parameters)。

  2. 梯度(Gradients)。

  3. 优化器状态(Optimizer States)。

根据切分对象的不同,ZeRO 分为三个阶段。

3.1 ZeRO Stage 1:只切分优化器状态

ZeRO-1 只对优化器状态进行切分。

为什么优先切分优化器状态?

因为在前面的 8B 模型计算中,优化器状态占用了 96 GB,占整个模型训练状态的 75%。

它是显存占用最大的部分。

8 张 GPU 平均分配优化器状态:
M_{\text{optimizer}}=\frac{96}{8}=12\text{ GB}

每张卡仍然保存完整的模型参数和梯度:

  • 模型参数:16 GB。

  • 梯度:16 GB。

  • 优化器状态:12 GB。

因此:
M_{\text{ZeRO-1}}=16+16+12
M_{\text{ZeRO-1}}=44\text{ GB}

与 DDP 相比,每张卡的模型状态显存从 128 GB 降低到了 44 GB。

这一阶段的优势是:

只切分优化器状态,就能获得非常明显的显存收益,而且优化器状态本身不需要在 GPU 之间进行 AllGather。

每张卡只维护自己负责的参数对应的动量和方差即可。

3.2 ZeRO Stage 2:进一步切分梯度

ZeRO-2 在 ZeRO-1 的基础上,进一步对梯度进行切分。

此时:

  • 模型参数:每张卡保存完整的 16 GB。

  • 梯度:8 张卡共同保存,每张卡 2 GB。

  • 优化器状态:每张卡保存 12 GB。

所以:
M_{\text{ZeRO-2}} =16+\frac{16}{8}+\frac{96}{8}
M_{\text{ZeRO-2}}=30\text{ GB}

相比 ZeRO-1,每张卡又节省了 14 GB。

这一阶段的关键变化在于梯度同步方式。

DDP 需要通过 AllReduce,让每张 GPU 都获得完整的平均梯度。

而 ZeRO-2 只需要通过 Reduce-Scatter,将归约后的梯度分片分配给对应 GPU。

每张卡只保留自己负责更新的那部分梯度,不再需要保存完整梯度。

这不仅降低了显存占用,还能减少梯度同步阶段的通信量。

3.3 ZeRO Stage 3:参数、梯度、优化器状态全部切分

ZeRO-3 是最彻底的切分方式。

它不仅切分优化器状态和梯度,还进一步切分模型参数。

8 张 GPU 各自保存:

  • 模型参数:2 GB。

  • 梯度:2 GB。

  • 优化器状态:12 GB。

因此:
M_{\text{ZeRO-3}} =\frac{16+16+96}{8}
M_{\text{ZeRO-3}}=16\text{ GB}

此时,每张 GPU 只需要保存原本八分之一的模型训练状态。

与 DDP 相比:
显存压缩倍数 = 128 ÷ 16 = 8 倍

这意味着 8B 模型原本需要 128 GB 的模型状态显存,现在每张 GPU 只需要 16 GB。

需要强调的是,ZeRO-3 的 16 GB 并不代表训练总显存只有 16 GB,因为前向传播和反向传播仍然需要激活值以及临时通信缓冲区。

3.4 三个阶段的显存对比

方案参数梯度优化器每卡总显存
DDP16 GB16 GB96 GB128 GB
ZeRO-116 GB16 GB12 GB44 GB
ZeRO-216 GB2 GB12 GB30 GB
ZeRO-32 GB2 GB12 GB16 GB

可以发现:

ZeRO-1 解决的是优化器状态冗余,ZeRO-2 进一步解决梯度冗余,ZeRO-3 则解决全部模型状态的冗余。

这里还有一个非常重要的工程结论:

并不是 ZeRO 阶段越高越好。

因为切分越彻底,虽然显存占用越低,但参数使用过程中需要进行更多通信。

下面就要分析 ZeRO 如何通过通信完成模型参数的动态拼装。

四、ZeRO-3 的核心机制:AllGather 与 Reduce-Scatter

理解 ZeRO-3,必须先理解两个关键的集合通信操作:

  • AllGather:将不同 GPU 持有的数据分片收集起来,让每张 GPU 都获得完整数据。

  • Reduce-Scatter:先对不同 GPU 的数据进行归约,再将归约后的结果切分并分发给不同 GPU。

这两个操作构成了 ZeRO-3 训练过程中的核心通信机制。

4.1 AllGather:如何临时拼出完整参数?

假设现在有 8 张 GPU,一层 Transformer 的参数大小约为 470 MB。

在 ZeRO-3 中,这层参数会被切分成 8 份:
M_{\text{shard}}=\frac{470}{8}
M_{\text{shard}}\approx58.75\text{ MB}

每张 GPU 平时只保存约 59 MB 参数。

但是,神经网络前向传播需要使用完整的权重矩阵。

例如:
Y=XW_k

其中:

  • (X):输入激活。

  • (W_k):当前 Transformer 层的权重。

  • (Y):计算结果。

如果每张 GPU 只有八分之一的(W_k),就无法按照完整矩阵运算的方式独立计算完整的(Y)。

因此,ZeRO-3 需要先执行 AllGather。

具体过程:

  1. 每张 GPU 持有自己负责的八分之一参数。

  2. 所有 GPU 同时发起 AllGather。

  3. 每张 GPU 将自己的参数分片发送给其他 GPU。

  4. 每张 GPU 接收其余七份参数。

  5. 最终,每张 GPU 都获得完整的 470 MB 参数。

此时,8 张 GPU 都拥有相同的完整权重。

但它们处理的数据不同。

例如,全局 Batch 为 512,8 张 GPU 可以分别处理 64 条样本。

每张 GPU 使用相同的参数,处理自己的数据,最终产生不同的激活结果。

计算结束后,为了释放显存,ZeRO-3 会释放临时拼装出来的完整参数,只保留自己负责的参数分片。

这就是 ZeRO-3 的一个重要设计:

平时分片存储,计算时临时聚合,使用结束后释放完整副本。

4.2 AllGather 是不是由一个中心节点负责收集?

不是。

这是理解集合通信时非常容易出现的误区。

AllGather 并不是:

GPU 0、GPU 1、GPU 2……将数据发送到一个中心节点,再由中心节点拼装完成后分发给所有 GPU。

实际上,AllGather 可以通过环形通信实现。

假设有 4 张 GPU:

  • GPU 0。

  • GPU 1。

  • GPU 2。

  • GPU 3。

它们形成一个逻辑通信环。

每一轮中,每张 GPU 都会:

  1. 向下一张 GPU 发送一个数据块。

  2. 从上一张 GPU 接收一个数据块。

  3. 将接收到的数据保存到本地。

对于 N 张 GPU,环形 AllGather 需要经过:
N-1

轮通信。

例如,8 张 GPU:
8-1=7轮

每张 GPU 经过 7 轮通信,接收其他 7 张 GPU 的数据分片,加上自己原本持有的一份,就能得到完整参数。

这里没有中心节点,也不存在一个专门负责收集和计算的 GPU。

每张 GPU 都是通信的参与者。

需要注意,环形是便于理解和计算通信量的一种实现方式。实际 NCCL 会根据消息大小、拓扑结构和算法选择等因素,采用不同的集合通信算法,并不意味着所有通信都必须使用环形。

4.3 Reduce-Scatter:梯度如何合并并分片?

前向传播完成后,模型进入反向传播阶段。

每张 GPU 会根据自己处理的数据计算梯度。

假设一层参数有 470 MB,那么每张 GPU 在反向计算后,都拥有一份完整形状的局部梯度。

但是,这些梯度只是各自数据批次对模型参数的更新建议。

为了保证模型更新的一致性,需要将 8 张 GPU 对同一参数产生的梯度进行归约。

这里使用 Reduce-Scatter。

它主要完成两个动作:

第一步:Reduce。

将不同 GPU 对同一参数计算出来的梯度进行求和。

第二步:Scatter。

将归约完成的梯度切分成 8 份,分别分发给 8 张 GPU。

例如:
G_{\text{avg}} =\frac{G_0+G_1+\cdots+G_7}{8}

然后,每张 GPU 只保留自己负责的八分之一梯度。

注意:上面的平均公式是数学意义上的梯度平均,实际实现可以在归约过程中或归约之后完成缩放,具体取决于框架配置。

Reduce-Scatter 和 AllGather 的环形通信过程非常相似。

它们的区别在于收到数据后执行的操作:

  • AllGather:收到数据后,直接保存。

  • Reduce-Scatter:收到数据后,将数据与本地对应分片累加。

这也是两种集合通信操作最核心的区别。

4.4 为什么 ZeRO-3 不需要再进行梯度 AllGather?

这是 ZeRO-3 能够进一步节省显存和通信量的关键。

在 DDP 中,每张 GPU 都需要更新完整模型参数。

因此,每张 GPU 必须获得完整的平均梯度。

而 ZeRO-3 中,每张 GPU 只负责自己持有的那八分之一参数。

例如:

  • GPU 0 负责更新参数分片 0。

  • GPU 1 负责更新参数分片 1。

  • GPU 2 负责更新参数分片 2。

以此类推。

每张 GPU 只需要获得自己负责参数对应的平均梯度即可。

因此,Reduce-Scatter 完成之后,梯度已经分配到对应 GPU,不需要再通过 AllGather 拼成完整梯度。

这就是 ZeRO-3 能够避免梯度 AllGather 的原因。

五、为什么 ZeRO-3 的通信量反而更大?

显存节省了,通信成本也随之发生变化。

这也是实际使用 ZeRO-3 时必须考虑的问题。

我们把 DDP 和 ZeRO-3 的通信过程放在一起分析。

5.1 DDP 的通信过程

DDP 在每次训练迭代中,主要通过 AllReduce 同步梯度。

AllReduce 可以从逻辑上拆分成两个阶段:

  1. Reduce-Scatter:归约梯度并进行分片。

  2. AllGather:将归约后的梯度重新收集成完整结果。

因此,DDP 每卡每步的通信量,可以按照两笔通信来计算。

5.2 ZeRO-3 的通信过程

ZeRO-3 的通信过程则有所不同:

  1. 前向传播:参数 AllGather。

  2. 反向传播:参数 AllGather。

  3. 梯度同步:Reduce-Scatter。

也就是说,ZeRO-3 一步训练需要完成三笔主要通信。

与 DDP 相比:

  • 少了一次梯度 AllGather。

  • 多了两次参数 AllGather。

按照原文的 8B 模型、8 卡估算口径:

方案每卡每步主要通信量
DDP28 GB
ZeRO-214 GB
ZeRO-342 GB

因此:
\frac{42}{28}=1.5

ZeRO-3 的通信量约为 DDP 的 1.5 倍。

这里有一个容易忽略的结论:

ZeRO-2 不仅降低了显存占用,还能减少梯度同步通信量。

因为 ZeRO-2 不切分模型参数,前向和反向传播不需要额外进行参数 AllGather,只需要将梯度同步方式从 AllReduce 转换为 Reduce-Scatter。

因此,按照这组估算:
14\text{ GB}<28\text{ GB}<42\text{ GB}

通信量从低到高分别是:

ZeRO-2、DDP、ZeRO-3。

这说明显存优化和通信优化并不总是同一个方向。

ZeRO-3 通过切分参数获得更大的显存收益,但也需要承担额外的参数通信成本。

需要说明,以上通信量是原文给定模型规模、层数和统计口径下的工程估算,不是所有 8B 模型和硬件环境都固定适用的数值。

六、为什么反向传播还需要再次 AllGather?

这个问题非常值得深入理解。

前面已经提到:

前向传播需要完整参数,因此必须 AllGather。

但是,前向传播完成之后,ZeRO-3 会释放完整参数,只保留分片。

为什么不直接保留完整参数,等反向传播时继续使用?

原因很简单:

显存不允许。

假设一个模型有 32 层 Transformer。

如果每一层前向计算结束后都保留完整参数,那么随着网络不断向前传播,完整参数副本会逐渐累积。

这会造成显存占用重新上升,甚至失去 ZeRO-3 分片存储的意义。

因此,ZeRO-3 通常会在使用完成后释放完整参数。

但反向传播仍然需要使用前向阶段的权重。

例如,反向传播过程中存在如下计算:
dX=W^T dY

其中:

  • (W^T):权重矩阵的转置。

  • (dY):当前层输出梯度。

  • (dX):输入梯度。

如果此时没有完整的权重矩阵,就无法完成相应计算。

所以只能再次通过 AllGather,将参数临时拼装出来。

由此形成完整的因果关系:

释放完整参数,降低显存占用。

反向传播需要读取完整参数。

重新 AllGather,恢复完整参数。

因此,ZeRO-3 前向和反向各需要一次参数 AllGather。

当然,也可以通过保留部分已经聚合的参数来减少通信,但代价是增加显存占用。

这体现了深度学习分布式训练中非常典型的一种权衡:

用显存换通信,或者用通信换显存。

七、ZeRO 与张量并行 TP 有什么区别?

这是一个非常重要的知识点。

很多人在刚接触分布式训练时,容易把 ZeRO-3 和张量并行(Tensor Parallelism,TP)混为一谈。

两者看起来都对模型进行了切分,但它们的设计目标完全不同。

ZeRO-3 切分的是模型状态的存储方式。

张量并行切分的是模型计算本身。

具体区别如下:

对比维度ZeRO-3 / FSDP张量并行 TP
样本切分同组 GPU 通常处理同一批样本
参数存储分片存储分片存储
参数使用使用前临时拼完整直接使用本地参数分片
计算方式每卡独立执行完整模型计算流程多卡共同完成同一层计算
主要通信内容参数、梯度中间激活等计算结果
通信特点参数聚合与梯度归约层内频繁交换中间结果
典型应用降低模型状态显存拆分单层计算和参数规模

为什么 ZeRO-3 需要拼回完整参数,而 TP 不需要?

以矩阵乘法为例:
Y=XW

在 ZeRO-3 中,虽然参数被切成了八份,但计算方式并没有发生变化。

每张 GPU 仍然需要执行完整模型的计算流程,因此需要先通过 AllGather 恢复完整权重。

而 TP 会进一步对权重矩阵进行切分。

例如按照列方向切分:
W=[W_0,W_1,\ldots,W_7]

每张 GPU 使用自己负责的权重分片计算对应输出:
Y_i=XW_i

最终通过集合通信将计算结果组合起来。

整个过程中,每张 GPU 不需要持有完整的 (W)。

因此,两者最核心的区别是:

ZeRO-3 是切分存储,计算时恢复完整参数。

TP 是切分计算,直接使用参数分片完成局部计算。

这也解释了为什么 TP 通常更依赖 GPU 之间高速、低延迟的 NVLink 互联,而 ZeRO-3 的跨机通信则需要重点评估参数聚合带来的带宽和同步开销。

八、8B 模型、8 张 H100,究竟应该选择 ZeRO-2 还是 ZeRO-3?

理解了三种阶段之后,真正的工程问题就来了。

假设:

  • 模型规模:8B。

  • GPU 数量:8 张。

  • 单卡显存:80 GB。

  • 训练方式:全参数微调。

  • 精度:BF16。

ZeRO-2 每张卡需要 30 GB 模型状态显存。

ZeRO-3 每张卡需要 16 GB 模型状态显存。

两者相差:
30-16=14\text{ GB}

那么,是不是 ZeRO-3 更省显存,就一定应该选择 ZeRO-3?

不一定。

因为 ZeRO-3 额外节省的 14 GB,是通过增加参数通信换来的。

更重要的是,ZeRO 无法直接解决激活值显存占用问题。

8.1 模型状态显存和激活值显存是两回事

模型状态包括:

  • 模型参数。

  • 梯度。

  • 优化器状态。

激活值则是模型在前向传播过程中产生的中间计算结果。

这些激活值通常需要在反向传播时使用,因此需要保留一部分计算过程中的中间数据。

ZeRO 主要解决模型状态冗余,并不会因为切分模型参数,就自动把每张卡上的激活值也切分掉。

因此,即使 ZeRO-3 将模型状态降低到 16 GB,如果激活值仍然占用 80 GB,依然可能出现显存溢出。

8.2 梯度检查点:解决激活值显存问题

对于激活值显存过高的问题,可以使用梯度检查点(Gradient Checkpointing)。

它的核心思想是:

前向传播时,不保存所有中间激活值,只保存部分关键节点。

反向传播时,如果需要某些已经释放的激活值,就重新执行对应的前向计算。

这样可以用额外的计算时间换取显存空间。

按照原文中的估算:

优化方式显存收益代价
ZeRO-2 升级到 ZeRO-3约 14 GB增加通信
梯度检查点约 60~100 GB增加约 30% 计算时间

可以看出,当瓶颈来自激活值时,梯度检查点通常比继续提高 ZeRO 阶段更有效。

8.3 实际选型思路

在工程实践中,可以按照下面的顺序判断:

第一步:完整模型参数能不能放进单张 GPU?

如果不能,ZeRO-2 无法满足参数存储要求,需要考虑 ZeRO-3 或 TP 等方案。

第二步:如果参数能够放进去,ZeRO-2 剩余显存能不能容纳激活值和其他运行开销?

如果可以,优先考虑 ZeRO-2。

第三步:如果激活值放不下,先尝试梯度检查点。

第四步:如果经过激活值优化仍然无法满足显存要求,再考虑 ZeRO-3。

按照原文给出的估算,8B 模型、8 张 80 GB GPU 的场景下:

ZeRO-2 每张卡需要 30 GB 模型状态,剩余约 50 GB 显存。

当 micro-batch 为 4、序列长度为 2048 时,激活值估算约为 17~26 GB。

因此,ZeRO-2 已经能够满足这一场景的显存需求,没有必要为了多节省 14 GB 而承担 ZeRO-3 额外的通信成本。

所以,这个场景优先选择 ZeRO-2。

九、PyTorch FSDP:ZeRO 思想在工程中的实现

理解了 ZeRO 的原理,还需要了解实际工程中如何使用。

PyTorch 提供了 FSDP(Fully Sharded Data Parallel,完全分片数据并行)机制。

它的核心思想与 ZeRO-3 非常接近,都是将模型参数、梯度和优化器状态进行分片存储,在需要计算时再进行必要的通信。

常见的 ShardingStrategy 包括:

FSDP 策略对应的 ZeRO 思想
FULL_SHARDZeRO-3
SHARD_GRAD_OPZeRO-2 类似策略
NO_SHARD类似 DDP 的完整复制方式

需要注意,FSDP 的具体行为还与版本和配置有关,上表是常见策略的概念对应关系。

在实际配置中,有三个细节值得关注。

9.1 分片粒度

FSDP 并不一定逐个参数进行独立切分,而是可以按照模块进行包装。

例如,将 Transformer Decoder Layer 作为一个分片单位。

如果切分粒度太粗:

可能一次性聚合大量参数,造成瞬时显存峰值过高。

如果切分粒度太细:

则会产生大量小规模通信操作,增加通信启动开销。

因此,按照 Transformer 层进行包装,是一种常见的工程实践。

9.2 通信与计算重叠

FSDP 可以通过预取机制提前发起下一层参数的通信。

例如,在当前层进行计算时,提前请求下一层参数。

这样可以让一部分通信与计算并行执行,减少通信对整体训练时间的影响。

但需要注意:

预取并不是没有代价。

提前获取下一层参数,意味着显存中可能同时存在当前层和下一层的完整参数副本。

因此需要在通信效率和显存占用之间进行平衡。

9.3 模型保存

ZeRO-3 和 FSDP 都存在一个实际问题:

每张 GPU 只保存部分参数,如果直接让某张卡保存自己的分片,就无法得到完整模型权重。

因此,模型保存时需要使用专门的 State Dict 接口,将分片重新聚合,或者在训练结束后通过转换脚本合并参数。

否则,最终保存的文件可能只是模型的一部分,无法直接用于常规推理加载。

这也是分布式训练中容易被忽略的工程细节。

十、跨机训练为什么会成为 ZeRO-3 的瓶颈?

ZeRO-3 对通信的依赖比较明显。

特别是每一层前向和反向都需要进行参数 AllGather。

如果 GPU 全部位于同一台服务器内部,可以通过 NVLink 等高速互联进行通信。

但如果 GPU 分布在不同服务器上,就需要通过网络进行跨机通信。

原文给出了一个量级对比:

  • 机内互联带宽:900 GB/s。

  • 跨机网络带宽:50 GB/s。

  • 单步通信量:42 GB。

按照理想带宽计算:

机内通信:
T_{\text{intra}} =\frac{42}{900}
T_{\text{intra}}\approx46.7\text{ ms}

跨机通信:
T_{\text{inter}} =\frac{42}{50}
T_{\text{inter}}=840\text{ ms}

如果假设一次训练迭代耗时 2 秒,那么跨机通信就可能占据相当大的时间比例。

实际运行时间还会受到协议开销、拓扑结构、通信算法、网络拥塞和同步等待等因素影响,因此上述结果属于理想带宽估算。

更重要的是,ZeRO-3 不只是通信总量增加的问题。

它还会在模型的多个计算阶段引入同步点。

一旦某张 GPU 或某条网络链路出现延迟,其他 GPU 就可能需要等待。

因此,跨机部署 ZeRO-3 时,不能只看总带宽,还需要考虑通信延迟、网络拓扑和计算通信重叠能力。

这也是为什么在跨机大模型训练中,需要综合考虑 ZeRO、TP、PP 等并行策略,而不能单纯依赖 ZeRO-3。

十一、核心知识总结

通过这篇学习,我对 ZeRO 的理解不再停留在三个阶段的定义,而是进一步理解了它背后的显存管理和集合通信机制。

重点总结如下:

  1. ZeRO 的核心目标是消除模型状态冗余。 DDP 每张卡都保存完整的模型状态,而 ZeRO 将这些状态切分到不同 GPU 上。

  2. ZeRO 分为三个阶段。 ZeRO-1 切优化器状态,ZeRO-2 进一步切梯度,ZeRO-3 将参数、梯度和优化器状态全部切分。

  3. ZeRO-3 采用动态参数聚合机制。 平时只保存参数分片,前向和反向计算时通过 AllGather 临时恢复完整参数,使用完成后释放。

  4. AllGather 和 Reduce-Scatter 是核心通信操作。 前者负责收集参数分片,后者负责梯度归约与分片分发。

  5. ZeRO-3 的显存收益来自额外通信。 参数切分降低了显存占用,但增加了前向和反向阶段的参数通信。

  6. ZeRO-2 不一定比 ZeRO-3 差。 如果完整参数能够放进单卡,并且激活值显存足够,ZeRO-2 可能是通信效率更好的选择。

  7. ZeRO 不等于张量并行。 ZeRO 切分的是模型状态的存储方式,TP 切分的是模型计算方式。

  8. 梯度检查点和 ZeRO 解决的是不同问题。 前者主要优化激活值显存,后者主要优化模型状态显存。

  9. 跨机通信是 ZeRO-3 的重要性能挑战。 参数需要在多个计算阶段反复聚合,网络带宽和通信延迟会直接影响训练效率。

  10. FSDP 是 PyTorch 中实现完全分片数据并行的重要方案。 需要重点关注分片粒度、通信预取和模型保存。


结语

通过这篇学习,我对大模型分布式训练中的显存优化有了更深入的认识。

以前理解多卡训练,更多关注的是如何让多张 GPU 同时参与计算,以及如何通过梯度同步保证模型参数一致。

而 ZeRO 让我进一步意识到:

大模型训练的瓶颈不仅仅在于计算能力,还在于模型状态如何存储,以及不同 GPU 之间如何高效交换数据。

当模型规模不断增大,单卡显存已经无法容纳完整训练状态时,单纯增加 GPU 数量并不能自动解决问题。

必须重新设计模型状态的存储方式,并在显存、通信和计算效率之间寻找平衡。

从 DDP 到 ZeRO,再到 FSDP 和张量并行,我逐渐建立起了对大模型分布式训练架构的整体认识。

下一篇继续学习张量并行(Tensor Parallelism),重点研究如何将矩阵计算本身拆分到多张 GPU 上,以及为什么张量并行对 GPU 之间的高速互联有更高要求。

学习没有捷径,把每一个机制背后的数据流、通信过程和性能代价真正弄明白,才能从理解概念走向掌握工程实践。

Logo

更多推荐