【大模型训练】数据并行的由来

模型并行（Model Parallelism）是将一个大型模型的不同部分（如层、张量、算子）拆分到多个设备（如GPU）上进行计算。流水线并行（Pipeline Parallelism）：将模型按层切分，不同设备负责不同层，通过流水线方式执行前向/反向传播。张量并行（Tensor Parallelism）：将单个层内的张量（如权重矩阵）切分到多个设备上，协同计算。模型并行适用于模型太大无法放入单个G

执笔论英雄

464人浏览 · 2025-10-09 12:29:26

执笔论英雄 · 2025-10-09 12:29:26 发布

模型并行的替代方案：模型并行的另一种替代方案是结合多种训练技术与数据并行，以支持大规模模型训练。这种方法基于在数据并行等级上分片优化器状态、梯度和参数。但与基于模型并行的技术相比，基于数据并行的技术效率较低，不适合大量GPU的扩展，因此更适合在资源受限的环境中对模型进行微调。本文仅关注模型并行优化。https://zhuanlan.zhihu.com/p/690767958

你的问题涉及对“模型并行的替代方案”的理解，尤其是为什么某些基于数据并行的优化技术可以被视为模型并行的替代方案，以及它们是如何实现这种替代的。我们来逐步解析：

一、背景：什么是模型并行？

模型并行（Model Parallelism） 是将一个大型模型的不同部分（如层、张量、算子）拆分到多个设备（如GPU）上进行计算。典型方法包括：

流水线并行（Pipeline Parallelism）：将模型按层切分，不同设备负责不同层，通过流水线方式执行前向/反向传播。
张量并行（Tensor Parallelism）：将单个层内的张量（如权重矩阵）切分到多个设备上，协同计算。

模型并行适用于模型太大无法放入单个GPU显存的情况，但其实现复杂、通信开销大、负载均衡难。

二、替代方案：基于数据并行的优化技术（如 ZeRO）

你提到的“替代方案”实际上是指 Zero Redundancy Optimizer（ZeRO） 及其变体（如 DeepSpeed 的 ZeRO-1/2/3），它们本质上是在数据并行框架下引入模型状态分片，从而在不使用传统模型并行的情况下，也能训练超大模型。

为什么可以“代替”模型并行？

因为 ZeRO 等技术通过以下方式，解决了模型并行原本要解决的核心问题：显存不足。

传统数据并行的问题：每个GPU都保存完整的模型参数、梯度和优化器状态，显存占用高，无法扩展到超大模型。
ZeRO 的改进：
- ZeRO-1：分片优化器状态（如 Adam 的动量、方差）。
- ZeRO-2：进一步分片梯度。
- ZeRO-3：再分片模型参数（在需要时通过通信 gather）。

这样，每个 GPU 只保存模型状态的一部分，总显存占用随 GPU 数量线性下降，使得百亿甚至千亿参数模型可以在纯数据并行架构上训练。

✅ 因此，ZeRO 等技术在功能上替代了模型并行——它让原本因显存限制必须用模型并行的场景，现在可以用更简单的数据并行+分片来实现。

三、如何“代替”模型并行？

具体实现方式如下：

技术	模型并行方式	ZeRO（数据并行+分片）方式
参数存储	拆分到不同GPU（如张量切分）	所有参数仍逻辑完整，但物理上分片存储
通信模式	复杂（层间/张量间通信）	主要在 AllGather / ReduceScatter（标准集合通信）
编程复杂度	高（需手动切分模型）	低（自动分片，对用户透明）
扩展性	受限于模型结构和流水线气泡	更易扩展到数千GPU（只要通信带宽足够）

例如，在 ZeRO-3 中：

前向传播前，通过 AllGather 从其他 GPU 收集当前层所需的参数分片；
计算完成后，立即释放这些参数，只保留自己的分片；
反向传播时类似处理梯度；
优化器更新时只更新自己负责的那部分参数。

这样，无需修改模型结构，就能在数据并行框架下训练超大模型。

四、为什么说它“效率较低，不适合大量GPU扩展”？

这句话其实有一定语境限制，需澄清：

早期观点：ZeRO 的通信开销（尤其是 ZeRO-3 的频繁 AllGather）在 GPU 数量极大时可能成为瓶颈，而模型并行（如 Megatron-LM 的张量并行）在节点内通信效率更高。
现实情况：现代框架（如 DeepSpeed、FSDP）通过优化通信（如 bucketing、overlap computation/communication）大幅提升了 ZeRO 的扩展效率。FSDP（Fully Sharded Data Parallel）已成为训练 Llama、LLaMA2 等大模型的主流方案。

所以，原文说“效率较低、不适合大量GPU”可能是指：