Pytorch 分布式并行DDP 卡死，设置NCCL_P2P_DISABLE=1禁用GPU之间直接通信即可解决。

https://blog.csdn.net/qq_45495857/article/details/113743109

网上教程一大推，讲了一大堆，也没解释原理，实用的没几个，自己总结的，比较简单note：无需卸载原机器驱动，无需禁用nouveau驱动原因：上面我们看到系统的驱动版本为450.80.02，而nvidia官网上要求的驱动版本为455.23.05，这里安装此.run文件不影响，那么为啥呢？因为每台机器不可能都适用455.23.05驱动，都安装成此版本，好多机器没法用显卡了，英伟达没那么蠢，只是建议使用该

一、多个cuda版本1、sudo ubuntu-drivers autoinstall 安装驱动，会自带一个cuda，这个cuda是一个版本（通过 nvidia-smi 查看）2、从官网上下载，并安装cuda在/usr/local下，此时又是一个cuda版本（通过 cat /usr/local/cuda/version.txt 查看）1和2两种安装cuda方法，https://blog.csdn.

https://blog.csdn.net/weixin_38314865/article/details/103446312

参考1：https://blog.csdn.net/HLBoy_happy/article/details/142030313。参考2：https://www.ithome.com/0/599/371.htm。

网上教程一大推，讲了一大堆，也没解释原理，实用的没几个，自己总结的，比较简单note：无需卸载原机器驱动，无需禁用nouveau驱动原因：上面我们看到系统的驱动版本为450.80.02，而nvidia官网上要求的驱动版本为455.23.05，这里安装此.run文件不影响，那么为啥呢？因为每台机器不可能都适用455.23.05驱动，都安装成此版本，好多机器没法用显卡了，英伟达没那么蠢，只是建议使用该

一、多个cuda版本1、sudo ubuntu-drivers autoinstall 安装驱动，会自带一个cuda，这个cuda是一个版本（通过 nvidia-smi 查看）2、从官网上下载，并安装cuda在/usr/local下，此时又是一个cuda版本（通过 cat /usr/local/cuda/version.txt 查看）1和2两种安装cuda方法，https://blog.csdn.

进入cudnn下载页面，需注册并登录tar -xvf test.tar选择cuDNN Library for Linux (x86_64)，一定要选这个哦，这个安装最简单，无需在乎系统版本，只需关注cuda版本然后复制下载链接，下载到服务器（wget -c 链接），或者下载到window，上传到linux上解压文件，解压后目录为cuda，蛋疼！tar -xvf cudnn-11.2-linux-x

【代码】服务器间迁移conda环境。