Single-Machine Model Parallel Best Practiceshttps://pytorch.org/tutorials/intermediate/model_parallel_tutorial.html#pytorch 多GPU训练一般采用的是“数据并行”的方法，但它同样也支持“模型并行”。“模型并行”需要解决的首要问题就是模型太大，导致单张GPU无法完整的加载整个模型

1.使用场景希望拥有Linux系统开发深度学习程序的便捷性，和Windows系统日常工作的高效性。为什么不用虚拟机：虚拟机（如VMware等）安装的Linux系统无法使用Windows系统中的显卡进行深度学习程序加速。2.步骤概况开启windows体验计划，并更新系统至较高预览版本。安装英伟达对wsl2的显卡驱动（NVIDIA Drivers for CUDA on WSL）。安装wsl2。从wi

在深度学习中，经常会使用EMA（指数移动平均）这个方法对模型的参数做平均，以提高测试指标并增加模型鲁棒。1.基于数学的介绍公式例子我们有关于“温度-天数”的数据：在第t天的温度。：第t天的移动平均数。：权重参数。图中红线即是蓝色数据点的指数移动平均。和 之间的关系大概表示前天的平均数据。（以第天做参考）如：大概表示前10天的平均数据红线...

pytorch onnx export 的参数介绍

1.基本环境本地电脑系统：window10远程服务器系统：Ubuntu18.04.2VSCode版本：1.51.12.问题描述vscod提供了优秀的远程连接插件（Remote-SSH）,我们可以方便地连接远程服务器进行编程。但是如果我们程序涉及到操作显示图像，由于程序运行在服务器上，无法直接将图像显示到我们的本地系统。或者我们想使用gedit这中需要图形化界面支持的linux命令，也会报错。3.解

1.使用场景希望拥有Linux系统开发深度学习程序的便捷性，和Windows系统日常工作的高效性。为什么不用虚拟机：虚拟机（如VMware等）安装的Linux系统无法使用Windows系统中的显卡进行深度学习程序加速。2.步骤概况开启windows体验计划，并更新系统至较高预览版本。安装英伟达对wsl2的显卡驱动（NVIDIA Drivers for CUDA on WSL）。安装wsl2。从wi