ZeRO 深度解析——从 128GB 到 16GB,如何打破大模型训练的显存墙?
一、为什么需要 ZeRO?
上一篇我们学习了 DDP(Distributed Data Parallel,分布式数据并行)的工作原理。
DDP 的核心思想是:每张 GPU 都保存一份完整的模型副本,每张卡处理不同的数据批次,完成反向传播后,通过 AllReduce 对梯度进行同步,保证所有 GPU 上的模型参数保持一致。
这种方式实现简单,也能有效利用多张 GPU 的计算能力。
但是,DDP 存在一个非常明显的问题:
每张 GPU 都要保存一份完整的模型训练状态,造成了大量显存冗余。
假设现在需要对一个 8B(80 亿参数)的大语言模型进行全参数微调,采用 BF16 精度,使用 Adam 优化器。
每个参数在训练过程中不仅需要保存权重,还需要保存梯度、优化器状态等信息。
按照常见的显存估算方式:
| 显存组成 | 每个参数占用 | 8B 模型占用 |
|---|---|---|
| 模型参数(BF16) | 2 Bytes | 16 GB |
| 梯度(BF16) | 2 Bytes | 16 GB |
| FP32 主参数 | 4 Bytes | 32 GB |
| Adam 一阶动量 | 4 Bytes | 32 GB |
| Adam 二阶动量 | 4 Bytes | 32 GB |
| 合计 | 16 Bytes | 128 GB |
因此:
这里的 128 GB 只是模型状态的估算,并没有包含激活值、CUDA 工作空间、通信缓冲区等额外显存开销。
而 NVIDIA H100 单卡显存为 80 GB。
这意味着,即使使用多张 H100 进行 DDP 训练,每张卡依然需要保存完整的 128 GB 模型状态,最终还是会因为显存不足而无法运行。
问题来了:
既然有 8 张 GPU,为什么不能让每张 GPU 只保存一部分模型状态?
这就是 ZeRO 要解决的问题。
二、ZeRO 的核心思想:消除模型状态冗余
ZeRO,全称 Zero Redundancy Optimizer,中文称为零冗余优化器。
它由微软提出,核心思想是:
将原本在每张 GPU 上重复保存的模型训练状态进行切分,让不同 GPU 分别负责不同部分,需要使用时再通过通信临时获取。
先看 DDP 的存储方式。
假设有 8 张 GPU:
-
GPU 0:保存完整模型状态。
-
GPU 1:保存完整模型状态。
-
GPU 2:保存完整模型状态。
-
...
-
GPU 7:保存完整模型状态。
实际上,8 张卡保存的数据完全相同。
如果把 8 张卡的模型状态放在一起看,就会发现其中存在大量重复数据。
对于 8B 模型,每张卡需要 128 GB,8 张卡总共需要:
其中,只有一份 128 GB 是独立的,其余 896 GB 都是重复存储。
ZeRO 的思路就是把这些冗余状态切分到不同 GPU 上。
例如,8 张卡共同保存一份模型状态:
-
GPU 0 保存八分之一。
-
GPU 1 保存八分之一。
-
GPU 2 保存八分之一。
-
...
-
GPU 7 保存八分之一。
这样,每张卡只需要负责自己对应的数据分片。
但需要注意:
ZeRO 并不是简单地把模型切开以后就不再通信,而是在不同计算阶段,通过 AllGather、Reduce-Scatter 等集合通信操作,动态获取计算所需的数据。
因此,ZeRO 本质上是一种以通信换显存的优化策略。
三、ZeRO 的三个阶段:从优化器状态到模型参数的逐级切分
ZeRO 将模型训练状态分为三个主要部分:
-
模型参数(Parameters)。
-
梯度(Gradients)。
-
优化器状态(Optimizer States)。
根据切分对象的不同,ZeRO 分为三个阶段。
3.1 ZeRO Stage 1:只切分优化器状态
ZeRO-1 只对优化器状态进行切分。
为什么优先切分优化器状态?
因为在前面的 8B 模型计算中,优化器状态占用了 96 GB,占整个模型训练状态的 75%。
它是显存占用最大的部分。
8 张 GPU 平均分配优化器状态:
每张卡仍然保存完整的模型参数和梯度:
-
模型参数:16 GB。
-
梯度:16 GB。
-
优化器状态:12 GB。
因此:
与 DDP 相比,每张卡的模型状态显存从 128 GB 降低到了 44 GB。
这一阶段的优势是:
只切分优化器状态,就能获得非常明显的显存收益,而且优化器状态本身不需要在 GPU 之间进行 AllGather。
每张卡只维护自己负责的参数对应的动量和方差即可。
3.2 ZeRO Stage 2:进一步切分梯度
ZeRO-2 在 ZeRO-1 的基础上,进一步对梯度进行切分。
此时:
-
模型参数:每张卡保存完整的 16 GB。
-
梯度:8 张卡共同保存,每张卡 2 GB。
-
优化器状态:每张卡保存 12 GB。
所以:
相比 ZeRO-1,每张卡又节省了 14 GB。
这一阶段的关键变化在于梯度同步方式。
DDP 需要通过 AllReduce,让每张 GPU 都获得完整的平均梯度。
而 ZeRO-2 只需要通过 Reduce-Scatter,将归约后的梯度分片分配给对应 GPU。
每张卡只保留自己负责更新的那部分梯度,不再需要保存完整梯度。
这不仅降低了显存占用,还能减少梯度同步阶段的通信量。
3.3 ZeRO Stage 3:参数、梯度、优化器状态全部切分
ZeRO-3 是最彻底的切分方式。
它不仅切分优化器状态和梯度,还进一步切分模型参数。
8 张 GPU 各自保存:
-
模型参数:2 GB。
-
梯度:2 GB。
-
优化器状态:12 GB。
因此:
此时,每张 GPU 只需要保存原本八分之一的模型训练状态。
与 DDP 相比:
显存压缩倍数 = 128 ÷ 16 = 8 倍
这意味着 8B 模型原本需要 128 GB 的模型状态显存,现在每张 GPU 只需要 16 GB。
需要强调的是,ZeRO-3 的 16 GB 并不代表训练总显存只有 16 GB,因为前向传播和反向传播仍然需要激活值以及临时通信缓冲区。
3.4 三个阶段的显存对比
| 方案 | 参数 | 梯度 | 优化器 | 每卡总显存 |
|---|---|---|---|---|
| DDP | 16 GB | 16 GB | 96 GB | 128 GB |
| ZeRO-1 | 16 GB | 16 GB | 12 GB | 44 GB |
| ZeRO-2 | 16 GB | 2 GB | 12 GB | 30 GB |
| ZeRO-3 | 2 GB | 2 GB | 12 GB | 16 GB |
可以发现:
ZeRO-1 解决的是优化器状态冗余,ZeRO-2 进一步解决梯度冗余,ZeRO-3 则解决全部模型状态的冗余。
这里还有一个非常重要的工程结论:
并不是 ZeRO 阶段越高越好。
因为切分越彻底,虽然显存占用越低,但参数使用过程中需要进行更多通信。
下面就要分析 ZeRO 如何通过通信完成模型参数的动态拼装。
四、ZeRO-3 的核心机制:AllGather 与 Reduce-Scatter
理解 ZeRO-3,必须先理解两个关键的集合通信操作:
-
AllGather:将不同 GPU 持有的数据分片收集起来,让每张 GPU 都获得完整数据。
-
Reduce-Scatter:先对不同 GPU 的数据进行归约,再将归约后的结果切分并分发给不同 GPU。
这两个操作构成了 ZeRO-3 训练过程中的核心通信机制。
4.1 AllGather:如何临时拼出完整参数?
假设现在有 8 张 GPU,一层 Transformer 的参数大小约为 470 MB。
在 ZeRO-3 中,这层参数会被切分成 8 份:
每张 GPU 平时只保存约 59 MB 参数。
但是,神经网络前向传播需要使用完整的权重矩阵。
例如:
其中:
-
:输入激活。
-
:当前 Transformer 层的权重。
-
:计算结果。
如果每张 GPU 只有八分之一的,就无法按照完整矩阵运算的方式独立计算完整的
。
因此,ZeRO-3 需要先执行 AllGather。
具体过程:
-
每张 GPU 持有自己负责的八分之一参数。
-
所有 GPU 同时发起 AllGather。
-
每张 GPU 将自己的参数分片发送给其他 GPU。
-
每张 GPU 接收其余七份参数。
-
最终,每张 GPU 都获得完整的 470 MB 参数。
此时,8 张 GPU 都拥有相同的完整权重。
但它们处理的数据不同。
例如,全局 Batch 为 512,8 张 GPU 可以分别处理 64 条样本。
每张 GPU 使用相同的参数,处理自己的数据,最终产生不同的激活结果。
计算结束后,为了释放显存,ZeRO-3 会释放临时拼装出来的完整参数,只保留自己负责的参数分片。
这就是 ZeRO-3 的一个重要设计:
平时分片存储,计算时临时聚合,使用结束后释放完整副本。
4.2 AllGather 是不是由一个中心节点负责收集?
不是。
这是理解集合通信时非常容易出现的误区。
AllGather 并不是:
GPU 0、GPU 1、GPU 2……将数据发送到一个中心节点,再由中心节点拼装完成后分发给所有 GPU。
实际上,AllGather 可以通过环形通信实现。
假设有 4 张 GPU:
-
GPU 0。
-
GPU 1。
-
GPU 2。
-
GPU 3。
它们形成一个逻辑通信环。
每一轮中,每张 GPU 都会:
-
向下一张 GPU 发送一个数据块。
-
从上一张 GPU 接收一个数据块。
-
将接收到的数据保存到本地。
对于 N 张 GPU,环形 AllGather 需要经过:
轮通信。
例如,8 张 GPU:
轮
每张 GPU 经过 7 轮通信,接收其他 7 张 GPU 的数据分片,加上自己原本持有的一份,就能得到完整参数。
这里没有中心节点,也不存在一个专门负责收集和计算的 GPU。
每张 GPU 都是通信的参与者。
需要注意,环形是便于理解和计算通信量的一种实现方式。实际 NCCL 会根据消息大小、拓扑结构和算法选择等因素,采用不同的集合通信算法,并不意味着所有通信都必须使用环形。
4.3 Reduce-Scatter:梯度如何合并并分片?
前向传播完成后,模型进入反向传播阶段。
每张 GPU 会根据自己处理的数据计算梯度。
假设一层参数有 470 MB,那么每张 GPU 在反向计算后,都拥有一份完整形状的局部梯度。
但是,这些梯度只是各自数据批次对模型参数的更新建议。
为了保证模型更新的一致性,需要将 8 张 GPU 对同一参数产生的梯度进行归约。
这里使用 Reduce-Scatter。
它主要完成两个动作:
第一步:Reduce。
将不同 GPU 对同一参数计算出来的梯度进行求和。
第二步:Scatter。
将归约完成的梯度切分成 8 份,分别分发给 8 张 GPU。
例如:
然后,每张 GPU 只保留自己负责的八分之一梯度。
注意:上面的平均公式是数学意义上的梯度平均,实际实现可以在归约过程中或归约之后完成缩放,具体取决于框架配置。
Reduce-Scatter 和 AllGather 的环形通信过程非常相似。
它们的区别在于收到数据后执行的操作:
-
AllGather:收到数据后,直接保存。
-
Reduce-Scatter:收到数据后,将数据与本地对应分片累加。
这也是两种集合通信操作最核心的区别。
4.4 为什么 ZeRO-3 不需要再进行梯度 AllGather?
这是 ZeRO-3 能够进一步节省显存和通信量的关键。
在 DDP 中,每张 GPU 都需要更新完整模型参数。
因此,每张 GPU 必须获得完整的平均梯度。
而 ZeRO-3 中,每张 GPU 只负责自己持有的那八分之一参数。
例如:
-
GPU 0 负责更新参数分片 0。
-
GPU 1 负责更新参数分片 1。
-
GPU 2 负责更新参数分片 2。
以此类推。
每张 GPU 只需要获得自己负责参数对应的平均梯度即可。
因此,Reduce-Scatter 完成之后,梯度已经分配到对应 GPU,不需要再通过 AllGather 拼成完整梯度。
这就是 ZeRO-3 能够避免梯度 AllGather 的原因。
五、为什么 ZeRO-3 的通信量反而更大?
显存节省了,通信成本也随之发生变化。
这也是实际使用 ZeRO-3 时必须考虑的问题。
我们把 DDP 和 ZeRO-3 的通信过程放在一起分析。
5.1 DDP 的通信过程
DDP 在每次训练迭代中,主要通过 AllReduce 同步梯度。
AllReduce 可以从逻辑上拆分成两个阶段:
-
Reduce-Scatter:归约梯度并进行分片。
-
AllGather:将归约后的梯度重新收集成完整结果。
因此,DDP 每卡每步的通信量,可以按照两笔通信来计算。
5.2 ZeRO-3 的通信过程
ZeRO-3 的通信过程则有所不同:
-
前向传播:参数 AllGather。
-
反向传播:参数 AllGather。
-
梯度同步:Reduce-Scatter。
也就是说,ZeRO-3 一步训练需要完成三笔主要通信。
与 DDP 相比:
-
少了一次梯度 AllGather。
-
多了两次参数 AllGather。
按照原文的 8B 模型、8 卡估算口径:
| 方案 | 每卡每步主要通信量 |
|---|---|
| DDP | 28 GB |
| ZeRO-2 | 14 GB |
| ZeRO-3 | 42 GB |
因此:
ZeRO-3 的通信量约为 DDP 的 1.5 倍。
这里有一个容易忽略的结论:
ZeRO-2 不仅降低了显存占用,还能减少梯度同步通信量。
因为 ZeRO-2 不切分模型参数,前向和反向传播不需要额外进行参数 AllGather,只需要将梯度同步方式从 AllReduce 转换为 Reduce-Scatter。
因此,按照这组估算:
通信量从低到高分别是:
ZeRO-2、DDP、ZeRO-3。
这说明显存优化和通信优化并不总是同一个方向。
ZeRO-3 通过切分参数获得更大的显存收益,但也需要承担额外的参数通信成本。
需要说明,以上通信量是原文给定模型规模、层数和统计口径下的工程估算,不是所有 8B 模型和硬件环境都固定适用的数值。
六、为什么反向传播还需要再次 AllGather?
这个问题非常值得深入理解。
前面已经提到:
前向传播需要完整参数,因此必须 AllGather。
但是,前向传播完成之后,ZeRO-3 会释放完整参数,只保留分片。
为什么不直接保留完整参数,等反向传播时继续使用?
原因很简单:
显存不允许。
假设一个模型有 32 层 Transformer。
如果每一层前向计算结束后都保留完整参数,那么随着网络不断向前传播,完整参数副本会逐渐累积。
这会造成显存占用重新上升,甚至失去 ZeRO-3 分片存储的意义。
因此,ZeRO-3 通常会在使用完成后释放完整参数。
但反向传播仍然需要使用前向阶段的权重。
例如,反向传播过程中存在如下计算:
其中:
-
:权重矩阵的转置。
-
:当前层输出梯度。
-
:输入梯度。
如果此时没有完整的权重矩阵,就无法完成相应计算。
所以只能再次通过 AllGather,将参数临时拼装出来。
由此形成完整的因果关系:
释放完整参数,降低显存占用。
反向传播需要读取完整参数。
重新 AllGather,恢复完整参数。
因此,ZeRO-3 前向和反向各需要一次参数 AllGather。
当然,也可以通过保留部分已经聚合的参数来减少通信,但代价是增加显存占用。
这体现了深度学习分布式训练中非常典型的一种权衡:
用显存换通信,或者用通信换显存。
七、ZeRO 与张量并行 TP 有什么区别?
这是一个非常重要的知识点。
很多人在刚接触分布式训练时,容易把 ZeRO-3 和张量并行(Tensor Parallelism,TP)混为一谈。
两者看起来都对模型进行了切分,但它们的设计目标完全不同。
ZeRO-3 切分的是模型状态的存储方式。
张量并行切分的是模型计算本身。
具体区别如下:
| 对比维度 | ZeRO-3 / FSDP | 张量并行 TP |
|---|---|---|
| 样本 | 切分 | 同组 GPU 通常处理同一批样本 |
| 参数存储 | 分片存储 | 分片存储 |
| 参数使用 | 使用前临时拼完整 | 直接使用本地参数分片 |
| 计算方式 | 每卡独立执行完整模型计算流程 | 多卡共同完成同一层计算 |
| 主要通信内容 | 参数、梯度 | 中间激活等计算结果 |
| 通信特点 | 参数聚合与梯度归约 | 层内频繁交换中间结果 |
| 典型应用 | 降低模型状态显存 | 拆分单层计算和参数规模 |
为什么 ZeRO-3 需要拼回完整参数,而 TP 不需要?
以矩阵乘法为例:
在 ZeRO-3 中,虽然参数被切成了八份,但计算方式并没有发生变化。
每张 GPU 仍然需要执行完整模型的计算流程,因此需要先通过 AllGather 恢复完整权重。
而 TP 会进一步对权重矩阵进行切分。
例如按照列方向切分:
每张 GPU 使用自己负责的权重分片计算对应输出:
最终通过集合通信将计算结果组合起来。
整个过程中,每张 GPU 不需要持有完整的 (W)。
因此,两者最核心的区别是:
ZeRO-3 是切分存储,计算时恢复完整参数。
TP 是切分计算,直接使用参数分片完成局部计算。
这也解释了为什么 TP 通常更依赖 GPU 之间高速、低延迟的 NVLink 互联,而 ZeRO-3 的跨机通信则需要重点评估参数聚合带来的带宽和同步开销。
八、8B 模型、8 张 H100,究竟应该选择 ZeRO-2 还是 ZeRO-3?
理解了三种阶段之后,真正的工程问题就来了。
假设:
-
模型规模:8B。
-
GPU 数量:8 张。
-
单卡显存:80 GB。
-
训练方式:全参数微调。
-
精度:BF16。
ZeRO-2 每张卡需要 30 GB 模型状态显存。
ZeRO-3 每张卡需要 16 GB 模型状态显存。
两者相差:
那么,是不是 ZeRO-3 更省显存,就一定应该选择 ZeRO-3?
不一定。
因为 ZeRO-3 额外节省的 14 GB,是通过增加参数通信换来的。
更重要的是,ZeRO 无法直接解决激活值显存占用问题。
8.1 模型状态显存和激活值显存是两回事
模型状态包括:
-
模型参数。
-
梯度。
-
优化器状态。
激活值则是模型在前向传播过程中产生的中间计算结果。
这些激活值通常需要在反向传播时使用,因此需要保留一部分计算过程中的中间数据。
ZeRO 主要解决模型状态冗余,并不会因为切分模型参数,就自动把每张卡上的激活值也切分掉。
因此,即使 ZeRO-3 将模型状态降低到 16 GB,如果激活值仍然占用 80 GB,依然可能出现显存溢出。
8.2 梯度检查点:解决激活值显存问题
对于激活值显存过高的问题,可以使用梯度检查点(Gradient Checkpointing)。
它的核心思想是:
前向传播时,不保存所有中间激活值,只保存部分关键节点。
反向传播时,如果需要某些已经释放的激活值,就重新执行对应的前向计算。
这样可以用额外的计算时间换取显存空间。
按照原文中的估算:
| 优化方式 | 显存收益 | 代价 |
|---|---|---|
| ZeRO-2 升级到 ZeRO-3 | 约 14 GB | 增加通信 |
| 梯度检查点 | 约 60~100 GB | 增加约 30% 计算时间 |
可以看出,当瓶颈来自激活值时,梯度检查点通常比继续提高 ZeRO 阶段更有效。
8.3 实际选型思路
在工程实践中,可以按照下面的顺序判断:
第一步:完整模型参数能不能放进单张 GPU?
如果不能,ZeRO-2 无法满足参数存储要求,需要考虑 ZeRO-3 或 TP 等方案。
第二步:如果参数能够放进去,ZeRO-2 剩余显存能不能容纳激活值和其他运行开销?
如果可以,优先考虑 ZeRO-2。
第三步:如果激活值放不下,先尝试梯度检查点。
第四步:如果经过激活值优化仍然无法满足显存要求,再考虑 ZeRO-3。
按照原文给出的估算,8B 模型、8 张 80 GB GPU 的场景下:
ZeRO-2 每张卡需要 30 GB 模型状态,剩余约 50 GB 显存。
当 micro-batch 为 4、序列长度为 2048 时,激活值估算约为 17~26 GB。
因此,ZeRO-2 已经能够满足这一场景的显存需求,没有必要为了多节省 14 GB 而承担 ZeRO-3 额外的通信成本。
所以,这个场景优先选择 ZeRO-2。
九、PyTorch FSDP:ZeRO 思想在工程中的实现
理解了 ZeRO 的原理,还需要了解实际工程中如何使用。
PyTorch 提供了 FSDP(Fully Sharded Data Parallel,完全分片数据并行)机制。
它的核心思想与 ZeRO-3 非常接近,都是将模型参数、梯度和优化器状态进行分片存储,在需要计算时再进行必要的通信。
常见的 ShardingStrategy 包括:
| FSDP 策略 | 对应的 ZeRO 思想 |
|---|---|
| FULL_SHARD | ZeRO-3 |
| SHARD_GRAD_OP | ZeRO-2 类似策略 |
| NO_SHARD | 类似 DDP 的完整复制方式 |
需要注意,FSDP 的具体行为还与版本和配置有关,上表是常见策略的概念对应关系。
在实际配置中,有三个细节值得关注。
9.1 分片粒度
FSDP 并不一定逐个参数进行独立切分,而是可以按照模块进行包装。
例如,将 Transformer Decoder Layer 作为一个分片单位。
如果切分粒度太粗:
可能一次性聚合大量参数,造成瞬时显存峰值过高。
如果切分粒度太细:
则会产生大量小规模通信操作,增加通信启动开销。
因此,按照 Transformer 层进行包装,是一种常见的工程实践。
9.2 通信与计算重叠
FSDP 可以通过预取机制提前发起下一层参数的通信。
例如,在当前层进行计算时,提前请求下一层参数。
这样可以让一部分通信与计算并行执行,减少通信对整体训练时间的影响。
但需要注意:
预取并不是没有代价。
提前获取下一层参数,意味着显存中可能同时存在当前层和下一层的完整参数副本。
因此需要在通信效率和显存占用之间进行平衡。
9.3 模型保存
ZeRO-3 和 FSDP 都存在一个实际问题:
每张 GPU 只保存部分参数,如果直接让某张卡保存自己的分片,就无法得到完整模型权重。
因此,模型保存时需要使用专门的 State Dict 接口,将分片重新聚合,或者在训练结束后通过转换脚本合并参数。
否则,最终保存的文件可能只是模型的一部分,无法直接用于常规推理加载。
这也是分布式训练中容易被忽略的工程细节。
十、跨机训练为什么会成为 ZeRO-3 的瓶颈?
ZeRO-3 对通信的依赖比较明显。
特别是每一层前向和反向都需要进行参数 AllGather。
如果 GPU 全部位于同一台服务器内部,可以通过 NVLink 等高速互联进行通信。
但如果 GPU 分布在不同服务器上,就需要通过网络进行跨机通信。
原文给出了一个量级对比:
-
机内互联带宽:900 GB/s。
-
跨机网络带宽:50 GB/s。
-
单步通信量:42 GB。
按照理想带宽计算:
机内通信:
跨机通信:
如果假设一次训练迭代耗时 2 秒,那么跨机通信就可能占据相当大的时间比例。
实际运行时间还会受到协议开销、拓扑结构、通信算法、网络拥塞和同步等待等因素影响,因此上述结果属于理想带宽估算。
更重要的是,ZeRO-3 不只是通信总量增加的问题。
它还会在模型的多个计算阶段引入同步点。
一旦某张 GPU 或某条网络链路出现延迟,其他 GPU 就可能需要等待。
因此,跨机部署 ZeRO-3 时,不能只看总带宽,还需要考虑通信延迟、网络拓扑和计算通信重叠能力。
这也是为什么在跨机大模型训练中,需要综合考虑 ZeRO、TP、PP 等并行策略,而不能单纯依赖 ZeRO-3。
十一、核心知识总结
通过这篇学习,我对 ZeRO 的理解不再停留在三个阶段的定义,而是进一步理解了它背后的显存管理和集合通信机制。
重点总结如下:
-
ZeRO 的核心目标是消除模型状态冗余。 DDP 每张卡都保存完整的模型状态,而 ZeRO 将这些状态切分到不同 GPU 上。
-
ZeRO 分为三个阶段。 ZeRO-1 切优化器状态,ZeRO-2 进一步切梯度,ZeRO-3 将参数、梯度和优化器状态全部切分。
-
ZeRO-3 采用动态参数聚合机制。 平时只保存参数分片,前向和反向计算时通过 AllGather 临时恢复完整参数,使用完成后释放。
-
AllGather 和 Reduce-Scatter 是核心通信操作。 前者负责收集参数分片,后者负责梯度归约与分片分发。
-
ZeRO-3 的显存收益来自额外通信。 参数切分降低了显存占用,但增加了前向和反向阶段的参数通信。
-
ZeRO-2 不一定比 ZeRO-3 差。 如果完整参数能够放进单卡,并且激活值显存足够,ZeRO-2 可能是通信效率更好的选择。
-
ZeRO 不等于张量并行。 ZeRO 切分的是模型状态的存储方式,TP 切分的是模型计算方式。
-
梯度检查点和 ZeRO 解决的是不同问题。 前者主要优化激活值显存,后者主要优化模型状态显存。
-
跨机通信是 ZeRO-3 的重要性能挑战。 参数需要在多个计算阶段反复聚合,网络带宽和通信延迟会直接影响训练效率。
-
FSDP 是 PyTorch 中实现完全分片数据并行的重要方案。 需要重点关注分片粒度、通信预取和模型保存。
结语
通过这篇学习,我对大模型分布式训练中的显存优化有了更深入的认识。
以前理解多卡训练,更多关注的是如何让多张 GPU 同时参与计算,以及如何通过梯度同步保证模型参数一致。
而 ZeRO 让我进一步意识到:
大模型训练的瓶颈不仅仅在于计算能力,还在于模型状态如何存储,以及不同 GPU 之间如何高效交换数据。
当模型规模不断增大,单卡显存已经无法容纳完整训练状态时,单纯增加 GPU 数量并不能自动解决问题。
必须重新设计模型状态的存储方式,并在显存、通信和计算效率之间寻找平衡。
从 DDP 到 ZeRO,再到 FSDP 和张量并行,我逐渐建立起了对大模型分布式训练架构的整体认识。
下一篇继续学习张量并行(Tensor Parallelism),重点研究如何将矩阵计算本身拆分到多张 GPU 上,以及为什么张量并行对 GPU 之间的高速互联有更高要求。
学习没有捷径,把每一个机制背后的数据流、通信过程和性能代价真正弄明白,才能从理解概念走向掌握工程实践。
更多推荐

所有评论(0)