DistributedDataParallel是PyTorch推荐的分布式训练方案，采用多进程架构，每个GPU对应一个独立的进程。DDP在执行前向传播前，通过环状通信的方式在所有进程间同步模型参数，确保每个GPU上的模型副本具有相同的初始状态。与DP相比，DDP支持多机训练，具有更好的扩展性和更高的训练效率。虽然DP实现简单，仅需几行代码即可实现，但其性能受限于主GPU的通信带宽，且无法实现真正的