DeepSpeed + Megatron-LM:大模型分布式训练的协同架构
一、从分布式训练原理走向真实工程框架
当模型规模不断增长,单张 GPU 已经无法容纳完整模型时,应该如何利用多张 GPU 完成训练?
围绕这个问题,我们先后接触了几种分布式训练技术:
-
数据并行(DP):每张 GPU 保存一份完整模型,通过处理不同的数据实现并行训练。
-
ZeRO 分片:将模型参数、梯度和优化器状态进行切分,减少每张 GPU 上重复保存的数据。
-
张量并行(TP):将一个矩阵运算拆分到多张 GPU 上共同完成。
-
流水线并行(PP):将模型按照网络层划分成多个阶段,分配给不同 GPU 或 GPU 组执行。
这些技术分别从数据、模型状态、矩阵计算和网络层级四个角度解决大模型训练中的资源瓶颈。
但是,理解原理只是第一步。
真正进入工程环境,我们还需要面对一个问题:
这些并行策略在实际训练框架中应该如何配置?不同框架之间又是什么关系?
今天重点认识两个在大模型训练领域非常重要的框架:
-
DeepSpeed:微软推出的大规模分布式训练优化库。
-
Megatron-LM:NVIDIA 推出的大规模 Transformer 模型训练框架。
它们经常同时出现在大模型训练启动命令中,例如:
deepspeed train.py \
--tensor-model-parallel-size 8 \
--pipeline-model-parallel-size 8 \
--deepspeed_config ds_config.json
为什么需要两个框架?
DeepSpeed 和 Megatron-LM 是否存在功能重叠?
一个 405B 参数的模型,为什么仅仅使用张量并行和流水线并行还不够?
理解这些问题,才能真正看懂大模型训练框架的工程配置。
二、DeepSpeed 与 Megatron-LM:两个框架的核心分工
先给出一个核心结论:
DeepSpeed 更擅长优化模型状态的显存占用,Megatron-LM 更擅长组织大规模模型计算的并行执行。
二者解决的是不同层面的问题,可以组合使用。
2.1 DeepSpeed:重点解决模型状态的显存冗余
在传统数据并行训练中,每张 GPU 都需要保存一份完整模型。
以 Adam 优化器为例,每个参数除了需要保存模型参数和梯度,还需要维护优化器状态。
对于一个使用 BF16 混合精度训练的模型,按照本文采用的显存估算口径:
| 存储内容 | 每个参数占用 |
|---|---|
| BF16 模型参数 | 2 Byte |
| BF16 梯度 | 2 Byte |
| FP32 主参数 | 4 Byte |
| FP32 一阶动量 | 4 Byte |
| FP32 二阶动量 | 4 Byte |
| 合计 | 16 Byte |
因此,模型训练状态的理论显存需求为:
其中:
-
:模型参数量。
-
:模型参数、梯度和优化器状态所需的显存。
对于 8B 参数模型:
这还没有计算激活值、临时计算空间和通信缓冲区。
显然,单张 80GB H100 无法容纳全部训练状态。
DeepSpeed 的核心技术之一就是 ZeRO(Zero Redundancy Optimizer)。
它通过消除数据并行过程中重复保存的模型状态,降低单卡显存需求。
ZeRO 主要分为三个阶段:
| 阶段 | 分片对象 | 核心作用 |
|---|---|---|
| ZeRO-1 | 优化器状态 | 减少优化器状态冗余 |
| ZeRO-2 | 优化器状态 + 梯度 | 进一步减少梯度冗余 |
| ZeRO-3 | 优化器状态 + 梯度 + 参数 | 将模型状态全面分片 |
可以这样理解:
-
ZeRO-1:每张卡不再保存完整的优化器状态。
-
ZeRO-2:在 ZeRO-1 的基础上,梯度也不再完整复制。
-
ZeRO-3:连模型参数也进行分片,需要时再通过通信获取。
DeepSpeed 还有一个重要技术:ZeRO-Infinity。
它可以将部分训练状态卸载到 CPU 内存甚至 NVMe SSD 中。
当 GPU 显存不足时,可以通过数据搬运换取更大的模型训练容量。
当然,卸载并不是没有代价。CPU 与 GPU 之间的数据传输,以及 NVMe 的读写延迟,都可能成为新的性能瓶颈。
因此,DeepSpeed 的核心价值可以概括为:
通过分片和异构资源卸载,减少 GPU 显存压力,让更大的模型能够参与训练。
2.2 Megatron-LM:重点解决模型计算的并行问题
如果说 DeepSpeed 重点关注模型状态如何存储,那么 Megatron-LM 更关注模型计算如何拆分。
大模型的计算主要集中在 Transformer 中的矩阵乘法。
例如,一个线性层可以表示为:
当矩阵规模非常大时,单张 GPU 可能无法高效完成全部计算。
Megatron-LM 通过多种并行策略,将计算任务分配到多张 GPU 上。
主要包括:
1. 张量并行(Tensor Parallelism,TP)
将一个大型矩阵切分成多个部分,分配给不同 GPU。
例如,TP=8,表示一个张量并行组由 8 张 GPU 共同完成部分矩阵计算。
这样可以减少单张 GPU 需要保存的参数规模,并利用多卡共同完成计算。
2. 流水线并行(Pipeline Parallelism,PP)
将 Transformer 模型按照网络层划分成多个阶段。
例如,一个包含 80 层的 Transformer 模型,可以按照以下方式划分:
| GPU 阶段 | 负责网络层 |
|---|---|
| Stage 0 | Layer 0~9 |
| Stage 1 | Layer 10~19 |
| Stage 2 | Layer 20~29 |
| Stage 3 | Layer 30~39 |
| Stage 4 | Layer 40~49 |
| Stage 5 | Layer 50~59 |
| Stage 6 | Layer 60~69 |
| Stage 7 | Layer 70~79 |
每个阶段负责自己的前向计算和反向计算。
当一个阶段完成计算后,会将激活值传递给下一个阶段。
通过多个阶段协同执行,可以让不同 GPU 组同时处理不同的微批次。
3. 数据并行(Data Parallelism,DP)
数据并行仍然是大规模训练中的重要组成部分。
每个数据并行组处理不同的数据,完成反向传播后再进行梯度同步。
需要注意,Megatron-LM 中的 TP、PP 和 DP 并不是互相替代的关系,而是可以组合使用的并行维度。
此外,Megatron-LM 还包含多种性能优化技术:
-
融合算子(Fused Kernels):将多个连续操作融合到一个 GPU Kernel 中,减少 Kernel 启动和中间数据读写开销。
-
激活重算(Activation Recomputation):不保存部分前向激活值,在反向传播时重新计算,以计算量换取显存。
-
高效分布式通信:利用 NCCL 等通信机制完成多 GPU 之间的数据交换。
因此,Megatron-LM 的核心价值在于:
通过模型切分、计算并行和算子优化,提高大规模 Transformer 模型的训练效率。
2.3 三种训练框架的定位对比
为了进一步理解它们之间的区别,可以将 PyTorch、DeepSpeed 和 Megatron-LM 放在一起比较。
| 框架 | 核心能力 | 主要优势 | 典型应用 |
|---|---|---|---|
| PyTorch DDP | 数据并行 | 简单易用,生态成熟 | 常规多卡训练 |
| PyTorch FSDP | 参数、梯度和优化器状态分片 | 官方分片训练方案 | 显存受限的分布式训练 |
| DeepSpeed | ZeRO、卸载、分布式训练优化 | 降低模型状态显存占用 | 大模型显存优化 |
| Megatron-LM | TP、PP、DP 等并行策略 | 大规模 Transformer 训练 | 超大模型预训练 |
这里需要明确一个概念:
PyTorch FSDP 与 DeepSpeed ZeRO-3 在分片目标上具有相似性,但两者并不是完全相同的实现。
另外,DeepSpeed 本身也具备张量并行等能力,并非完全不支持 TP。实际工程中,Megatron-LM 通常负责主要的模型并行组织,DeepSpeed 则通过 ZeRO 等机制进一步优化模型状态的存储。
因此,不能简单理解成某个框架只能完成某一种并行。
真正需要关注的是:在当前训练方案中,各个框架分别承担什么职责。
三、为什么大模型训练经常需要 Megatron-LM + DeepSpeed?
这一节是今天最重要的内容。
前面我们知道:
-
TP 可以切分模型中的矩阵计算。
-
PP 可以切分模型的网络层。
-
ZeRO 可以减少数据并行中的模型状态冗余。
那么,当模型规模达到数百亿甚至数千亿参数时,为什么需要把它们组合起来?
我们直接通过一个 405B 参数模型进行计算。
3.1 405B 模型的理论显存需求
假设训练一个 405B 参数模型:
采用 BF16 混合精度和 Adam 优化器。
按照前面的 16 Byte/参数估算:
代入:
也就是说,仅模型参数、梯度和优化器状态就需要约 6480 GB 显存。
假设使用 1024 张 H100 80GB GPU。
总显存为:
从总显存来看似乎足够,但这里有一个关键问题:
总显存足够,不代表单张 GPU 能够容纳自己负责的训练状态。
因此,需要通过并行策略进一步拆分。
3.2 第一步:使用 TP=8 和 PP=8 切分模型
假设采用:
-
张量并行:TP=8
-
流水线并行:PP=8
-
总 GPU 数量:1024
那么,TP 和 PP 一共形成:
个模型并行分片。
每张 GPU 所负责的模型状态约为:
<注意:这里是理想化的模型状态均匀切分估算,暂不考虑模型结构中的不均匀分配和额外开销。>
单卡 H100 的显存只有 80GB。
因此:
即使已经使用 TP 和 PP,单卡仍然需要约 101.25GB 显存,超出 H100 的物理显存容量。
这说明:
仅仅把模型切开,还不足以解决 405B 模型的显存问题。
原因在于,TP 和 PP 虽然减少了单卡负责的模型规模,但数据并行组中仍然存在重复保存的模型状态。
接下来就需要 DeepSpeed ZeRO 出场。
3.3 第二步:计算数据并行度
总 GPU 数量为 1024。
已经分配给张量并行和流水线并行的 GPU 数量为:
因此,数据并行度为:
也就是说:
-
TP=8
-
PP=8
-
DP=16
三者组合后:
这里有一个工程上非常重要的知识点:
数据并行度不是随便填写的,而是根据总 GPU 数量和其他并行维度计算出来的。
3.4 第三步:叠加 DeepSpeed ZeRO-1
现在已经知道:
-
TP=8
-
PP=8
-
DP=16
在 TP 和 PP 切分模型后,每张 GPU 仍然需要保存:
-
参数:2 Byte/参数
-
梯度:2 Byte/参数
-
优化器状态:12 Byte/参数
ZeRO-1 只对优化器状态进行分片。
因此,参数和梯度仍然按照 64 个模型并行分片计算:
参数和梯度显存 =(4 × 模型参数量)÷ 64(个模型并行分片)
代入 405B:
参数和梯度显存=
参数+梯度
接下来计算优化器状态。
优化器状态原本需要:
由于 ZeRO-1 在 16 个数据并行副本之间进行分片,因此:
优化器状态显存 =
代入:
优化器状态显存=
优化器状态显存
最终,每张 GPU 的模型状态显存需求为:
因此,叠加 ZeRO-1 之后:
每张 H100 的模型状态显存从约 101.25GB 降低到了约 30GB。
<这里的显存数字均为十进制 GB,且仅计算模型状态,不包含激活值、通信缓冲区和其他运行时开销。>
3.5 为什么这两个框架可以同时使用?
现在再回头看整个计算过程,就非常清晰了。
Megatron-LM 通过 TP 和 PP 将模型拆分成 64 个模型并行分片。
DeepSpeed ZeRO-1 则在每个数据并行组中,将优化器状态进一步分片。
两者分别作用在不同维度:
| 技术 | 作用维度 | 主要解决的问题 |
|---|---|---|
| TP | 张量并行 | 单个矩阵太大 |
| PP | 流水线并行 | 模型层数太多 |
| DP | 数据并行 | 多卡处理不同数据 |
| ZeRO-1 | 数据并行组内分片 | 优化器状态重复存储 |
这就是 Megatron-LM + DeepSpeed 经常组合使用的原因。
它们并不是两个互相竞争的工具,而是能够在同一个分布式训练任务中协同工作的技术体系。
四、不同模型规模下,训练框架应该如何选择?
理解了 405B 模型的计算过程,再来看 8B、70B 和 405B 三种规模,就能发现模型规模不同,训练架构的复杂程度也会发生变化。
4.1 8B:优先考虑简单的训练方案
8B 模型使用 BF16 + Adam 时:
如果使用 8 张 GPU,并采用 ZeRO-3:
这里的计算假设参数、梯度和优化器状态都能够均匀分片。
对于 8B 模型,通常可以优先考虑 Hugging Face Transformers + DeepSpeed 等方案。
不一定需要一开始就引入复杂的 TP 和 PP 架构。
但如果模型结构、通信开销或性能目标有特殊要求,也可能需要引入模型并行。
4.2 70B:开始需要认真考虑模型并行
70B 模型的理论训练状态显存:
假设使用 64 张 H100 GPU:
那么:
模型并行分片数量:
不使用 ZeRO 时:
H100 的显存为 80GB。
因此,理论上只剩下:
这 10GB 还需要容纳前向传播产生的激活值、临时计算空间以及通信缓冲区。
对于一个 80 层、隐藏层宽度为 8192 的 Transformer 模型而言,10GB 的激活空间可能非常紧张。
这时候就需要考虑激活重算。
激活重算的基本思路是:
前向传播时,不保存全部中间激活值;反向传播需要时,再重新执行部分前向计算。
它的本质是:
用额外的计算量换取显存空间。
但重算并不是免费的。
如果为了节省显存而大量重复计算,就可能降低训练吞吐量。
因此,我们还可以叠加 ZeRO-1。
4.3 70B:叠加 ZeRO-1 后的显存变化
原本每张 GPU 的模型状态为 70GB。
其中:
-
参数和梯度占 4/16。
-
优化器状态占 12/16。
由于 DP=4,ZeRO-1 可以进一步将优化器状态切分成 4 份。
因此:
也可以直接按照原来的 70GB 计算:
那么,理论上剩余显存为:
这意味着,叠加 ZeRO-1 后,显存空间明显增加。
我们可以将原本用于激活重算的部分显存释放出来,从而减少重算程度,提高训练效率。
这里需要强调:
激活重算是否可以完全关闭,不能只根据剩余显存判断,还需要结合实际模型结构、序列长度、微批次大小和运行时峰值显存进行测试。
4.4 405B:必须同时考虑模型切分与状态分片
对于 405B 模型:
-
TP=8
-
PP=8
-
DP=16
-
GPU 总数=1024
只使用 TP 和 PP:
叠加 ZeRO-1:
这说明,随着模型规模增长,单纯依赖模型并行可能无法满足显存要求,还需要进一步处理数据并行中的模型状态冗余。
4.5 三种规模的训练架构对比
| 模型规模 | GPU 数量 | 并行策略 | 每卡模型状态 |
|---|---|---|---|
| 8B | 8 | ZeRO-3 | 16GB |
| 70B | 64 | TP8 × PP2 | 70GB |
| 70B | 64 | TP8 × PP2 + ZeRO-1 | 30.625GB |
| 405B | 1024 | TP8 × PP8 | 101.25GB |
| 405B | 1024 | TP8 × PP8 + ZeRO-1 | 约30.05GB |
这里最值得关注的不是 GPU 数量,而是不同并行策略对单卡显存分布的影响。
模型并行解决模型如何拆分,ZeRO 解决模型状态如何存储。
二者配合,才能更有效地支撑超大规模模型训练。
五、真实工程中还需要关注哪些问题?
掌握了理论公式,并不意味着训练任务就一定能够顺利运行。
在真实的大规模训练环境中,还需要关注几个容易被忽略的工程细节。
5.1 Megatron-LM 的融合算子与性能优化
Megatron-LM 中有大量针对 GPU 优化的融合算子。
例如,将多个连续的计算操作融合到一个 GPU Kernel 中。
传统执行方式可能是:
-
启动一个 Kernel。
-
计算中间结果。
-
将结果写入显存。
-
启动下一个 Kernel。
-
再从显存读取中间结果。
融合之后,可以减少 Kernel 启动次数和中间数据读写。
对于大规模 Transformer 训练,这类优化非常重要。
工程上需要注意:
不同版本的 Megatron-LM、CUDA、PyTorch 和编译工具链,对融合算子的支持方式并不完全相同。
部分算子需要单独编译,部分算子则依赖安装时的扩展构建。
如果扩展没有正确构建,某些实现可能退回到非融合路径,导致性能下降。
建议重点检查:
-
CUDA 与 PyTorch 版本是否匹配。
-
扩展模块是否成功编译。
-
日志中是否出现算子回退或加载失败信息。
-
开启和关闭融合算子后,单步训练时间是否存在明显差异。
不要只看训练是否能够启动,更要关注实际训练吞吐量。
5.2 数据并行度必须根据总卡数计算
这是配置分布式训练时非常容易出现的问题。
假设:
-
GPU 总数:64。
-
TP=8。
-
PP=2。
那么:
总 GPU 数量必须满足:
如果启动脚本中的并行参数与实际 GPU 数量不匹配,就可能导致进程组初始化失败,或者形成与预期不同的并行拓扑。
因此,配置时一定要先确定总 GPU 数量,再计算数据并行度。
5.3 训练完成不代表模型可以直接部署
这是一个非常重要,但经常被忽略的问题。
在 Megatron-LM 的 TP 和 PP 训练架构下,模型权重通常是按照并行维度切分保存的。
例如:
一个 70B 模型采用:
-
TP=8
-
PP=2
那么训练完成后,模型参数可能分散在不同 GPU 进程对应的检查点文件中。
但是,部署框架通常需要的是符合目标模型结构的完整权重,或者符合目标推理框架要求的权重分片。
因此,训练结束后还需要进行模型权重转换。
典型流程:
-
读取各个 TP 和 PP 分片的检查点。
-
根据模型结构和并行切分方式还原参数。
-
合并或重新切分权重。
-
转换为目标推理框架支持的格式。
-
完成模型加载与推理测试。
以 70B 模型为例,假设部署权重采用 BF16:
也就是说,仅完整 BF16 权重就需要约 140GB 存储空间。
权重转换过程中还可能需要额外的 CPU 内存、临时磁盘空间和数据搬运时间。
因此,训练到部署并不是一个简单的模型文件复制过程。
训练阶段的并行存档格式,与推理阶段的模型加载格式,往往是两套不同的数据组织方式。
这一部分值得单独展开,后续会专门研究 Megatron 检查点的结构、权重合并和部署转换。
六、通过一个问题理解 ZeRO 与模型并行的协同关系
假设现在有一个 70B 参数模型,使用 64 张 H100 GPU 进行全参数训练。
配置如下:
-
TP=8
-
PP=2
-
DP=4
-
BF16 混合精度
-
Adam 优化器
问题一:每张 GPU 需要多少模型状态显存?
首先计算总模型状态:
模型并行分片:
因此:
问题二:数据并行度为 4,还能不能继续节省显存?
答案是可以。
因为原本每张 GPU 的 70GB 模型状态中:
-
参数和梯度占 4 份。
-
优化器状态占 12 份。
ZeRO-1 可以将优化器状态再按照 DP=4 进行分片。
因此:
这个计算过程揭示了一个重要规律:
数据并行不仅可以用于扩展训练吞吐量,还可以通过 ZeRO 分片进一步减少模型状态的显存占用。
问题三:为什么激活重算依然重要?
即使模型状态降低到约 30.6GB,也不能直接认为剩余显存全部可以自由使用。
因为训练过程中还存在:
-
前向传播激活值。
-
反向传播中间结果。
-
通信缓冲区。
-
CUDA Kernel 临时空间。
-
显存碎片和运行时开销。
因此,是否使用激活重算、使用多少重算,都需要根据实际运行情况决定。
工程优化的目标不是简单地把显存压到最低,而是找到显存、计算和通信之间的平衡。
七、今日总结
今天主要认识了两个大模型训练领域的重要框架:DeepSpeed 和 Megatron-LM。
它们的核心分工可以用一句话概括:
Megatron-LM 负责把模型和计算任务拆开,DeepSpeed ZeRO 负责减少数据并行过程中重复保存的模型状态。
通过 405B 模型的计算,我们进一步理解了为什么两者需要协同使用:
TP=8、PP=8 时,模型被切分为 64 个模型并行分片,每张 GPU 仍然需要约 101.25GB 模型状态,超过 H100 的 80GB 显存。
叠加 DP=16 上的 ZeRO-1 后,每张 GPU 的模型状态下降到约 30GB。
这不是简单地多使用一个训练框架,而是通过不同并行维度解决不同的资源瓶颈。
今天还需要记住三个工程知识点:
-
性能优化不能只看训练能否启动。 融合算子、CUDA 扩展和通信配置都会影响实际吞吐量。
-
数据并行度需要计算。 总 GPU 数量必须满足 TP × PP × DP 的关系。
-
训练完成不等于部署完成。 分布式检查点通常还需要进行权重合并、格式转换或重新分片。
从 Day06 的模型显存计算,到 Day07 的 DDP,再到 Day08 的 ZeRO、Day09 的张量并行、Day10 的流水线并行,以及 Day11 的混合并行策略,今天终于把这些技术放到了真实训练框架中。
这也是学习 AI Infra 的一个重要转变:
从理解单个技术原理,逐渐过渡到理解完整的分布式训练系统。
十、参考资料与计算说明
官方技术资料:
-
DeepSpeed 官方文档:Latest News - DeepSpeed
-
DeepSpeed GitHub:https://github.com/microsoft/DeepSpeed
-
Megatron-LM GitHub:https://github.com/NVIDIA/Megatron-LM
-
PyTorch Distributed 官方文档:Redirecting…
-
NVIDIA H100 GPU 官方技术规格:H100 GPU | NVIDIA
本文计算假设:
-
模型训练精度:BF16。
-
优化器:Adam。
-
模型状态显存:16 Byte/参数。
-
H100 单卡显存:80GB。
-
显存计算采用十进制 GB。
-
暂不考虑激活值、通信缓冲区、CUDA 临时空间及其他运行时开销。
-
TP、PP、DP 按理想均匀切分进行估算,实际运行还需要考虑模型结构、算子实现及负载均衡。
核心计算结果:
| 模型规模 | 并行配置 | 每卡模型状态 |
|---|---|---|
| 8B | 8 卡 ZeRO-3 | 16GB |
| 70B | TP8 × PP2 | 70GB |
| 70B | TP8 × PP2 × ZeRO-1(DP4) | 30.625GB |
| 405B | TP8 × PP8 | 101.25GB |
| 405B | TP8 × PP8 × ZeRO-1(DP16) | 约30.05GB |
注:以上均为理论估算值,不代表实际训练时的 GPU 峰值显存。
更多推荐

所有评论(0)