DeepSpeed在docker容器内实现多机多卡
这里需要创建overlay网络是多台宿主机的容器可以通过网络连接选定一台机器为主节点master命令执行完之后，会有其他节点加入该网络的命令提示，在其他节点上输入该命令后就加入了该网络。
·
多台docker宿主机网络配置
https://docs.docker.com/network/overlay/
这里需要创建overlay网络是多台宿主机的容器可以通过网络连接
创建集群
docker swarm init
另一台机器加入集群
docker swarm join --token SWMTKN-1-1nnq6klpq7z93lqmshd4rqvk44x1qyyen4wacuei1t46wnvm3r-80qzsy8qfdke7hgex7n5x2c37 172.17.0.5:2377
在集群里创建一个my-attachable-overlay的虚拟网络
docker network create -d overlay --attachable my-attachable-overlay
启动容器时使用创建的网络
docker run -it --gpus=all --ipc=host --net=my-attachable-overlay --name ydq_chatglm_env -v /data3:/data3 chatglm:v0.3 /bin/bash
以该网络创建的容器间可以直接通讯
两边容器都启动后
#分别查看机器分配到的IP
ifcofig
deepspeed的配置
按照官网设置
#需要注意NCCL的配置,这里需要根据机器的情况指定NCCL的通讯网卡
NCCL_SOCKET_IFNAME=eth0
权威｜前沿｜技术｜干货｜国内首个API全生命周期开发者社区
更多推荐
2
0- 0
已为社区贡献2条内容
所有评论(0)