随着大模型训练的普及，分布式训练技术成为提升训练效率、降低显存占用的关键手段。PyTorch 提供的 Fully Sharded Data Parallel（FSDP）是一种模型分片并行策略，能够将模型参数、梯度和优化器状态分布到多个设备上，从而支持训练超出单设备显存容量的大模型。FSDP2 是 FSDP 的下一代实现，基于 DTensor 进行参数管理，相比 FSDP1 在显存利用和计算效率上均

随着大模型训练的普及，分布式训练技术成为提升训练效率、降低显存占用的关键手段。PyTorch 提供的 Fully Sharded Data Parallel（FSDP）是一种模型分片并行策略，能够将模型参数、梯度和优化器状态分布到多个设备上，从而支持训练超出单设备显存容量的大模型。FSDP2 是 FSDP 的下一代实现，基于 DTensor 进行参数管理，相比 FSDP1 在显存利用和计算效率上均

随着大模型训练的普及，分布式训练技术成为提升训练效率、降低显存占用的关键手段。PyTorch 提供的 Fully Sharded Data Parallel（FSDP）是一种模型分片并行策略，能够将模型参数、梯度和优化器状态分布到多个设备上，从而支持训练超出单设备显存容量的大模型。FSDP2 是 FSDP 的下一代实现，基于 DTensor 进行参数管理，相比 FSDP1 在显存利用和计算效率上均