rank = int(os.environ['RANK']) # 环境中变量，由命令行参数传入# 此处函数的含义与上类似，启动多个线程train()test()由于各进程中的模型，初始参数一致 (初始时刻进行一次broadcast)，而每次用于更新参数的梯度也一致，因此，各进程的模型参数始终保持一致。而在中，全程维护一个optimizer，对各 GPU 上梯度进行求和，而在主 GPU 进行参数更新

Stable Diffusion，Ai绘图

Stable Diffusion，Ai绘图

Stable Diffusion，Ai绘图

Stable Diffusion，Ai绘图