C++与matlab进行联合编程。由于我需要使用fftw库进行编程，因此我需要在Visual Studio中进行编译。如果程序没有使用额外的库，可以直接在Matlab的命令窗口中进行编译，这样就无需配置Visual Studio，更加方便。需要注意的是，使用到的.dll文件需要复制到.mexw64C文件的同级目录中。这样，我们就能够直接调用该函数（函数名即为mexw64C文件的名称）进行编程。

DeepSpeed是微软开发的深度学习优化库，专注于大模型训练加速。其核心技术包括：1) ZeRO优化器，通过分片优化器状态、梯度和参数，将内存需求降低至1/16；2) Sparse Attention，通过固定模式或动态稀疏化将注意力计算复杂度从O(n²)降至O(n)，速度提升3-5倍；3) 1 bit Adam，通过梯度量化减少5倍通信量，训练速度提升3.4倍。这些技术显著提升了大规模模型训练