问题说明

使用paddle detection进行多机训练时，需要安装nccl。

安装方法

参考：Linux Ubuntu安装Nvidia多GPU通信库NCCL

下载安装包

Step1：进入官网链接，勾选“I Agree To …”，从“Previous Releases”中选择与cuda版本对应的NCLL。

Step2：找到与cuda匹配的NCLL后，在“Local installer”列表下选择自己的ubuntu系统即可下载deb文件。
注意：不要忽视图2中的指令。

---

图1

---

图2

安装镜像库

使用指令

sudo dpkg -i deb文件路径

如：
sudo dpkg -i nccl-repo-ubuntu1604-2.5.6-ga-cuda10.0_1-1_amd64.deb

更新源镜像

sudo apt update

安装nccl

使用图2中的指令。
如：
sudo apt install libnccl2=2.5.6-1+cuda10.0 libnccl-dev=2.5.6-1+cuda10.0

配置系统环境变量

nccl默认的安装目录是/usr/lib/x86_64-linux-gnu，在终端模拟器中使用vim ~/.bashrc 打开配置文件，在 ~/.bashrc 文件中添加以下内容之后保存文件：

#设置cuda库的目录
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/lib64
#将nccl添加到LD_LIBRARY_PATH中
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib/x86_64-linux-gnu

使用source ~/.bashrc使文件的配置生效。

卸载NCCL

问题描述：

NCCL安装错误的话，有可能使服务器不能多卡训练。

查找文件名

使用 sudo dpkg -l | grep nccl 查看 nccl 的文件名。
如：

其中，红框里面是我们安装的，需要卸载。

卸载

使用 sudo apt remove 卸载 通过apt 安装的 libnccl2 和 libnccl-dev。
使用 sudo dpkg -P 文件包名 卸载nccl。
如：
sudo dpkg -P nccl-local-repo-ubuntu1804-2.11.4-cuda11.4