提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档。

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档。

DeepSpeed是微软推出的一个开源深度学习优化库，主要目的是帮助我们在优先的硬件资源下训练超大规模的神经网络模型。简单来说，它就是一个“加速器”和“内存优化器”，能让你训练包括数十亿甚至数百亿的大模型变得更加可行和高效。ZeRo模式 让每个GPU只负责一部分数据，降低内存压力混合精度训练 在保证精度的同时节省资源流水线与模型并行 分工合作，加速大模型的计算推理优化与内存卸载 则确保了训练后模型