logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

DeepSpeed在docker容器内实现多机多卡

这里需要创建overlay网络是多台宿主机的容器可以通过网络连接选定一台机器为主节点master命令执行完之后,会有其他节点加入该网络的命令提示,在其他节点上输入该命令后就加入了该网络。

文章图片
#docker#运维#容器
Jenkins 中创建项目时没有Maven项目怎么办

如果在创建项目时候,没有“创建一个Maven 项目”的选项。      你需要安装Maven项目插件:Maven Integration plugin 。                点击“可选插件”  然后在右边的过滤输入框中输入搜索关键字: Maven Integration Plugin  或者 Pipeline Maven Integration Plugin ,搜索到了以后,点击直接安

deepspeed 多机多卡RuntimeError: Ninja is required to load C++ extensions

问题原贴:https://github.com/microsoft/deepspeed/issues/1687deepspeed子进程的找不到ninja这个包,这包是用来加载tocrh的一些c++插件 cpu_adam或者 fuse adam,这个一般会引起下游的错误 No mudule named fuse adam 或者 No mudule named cpu_adam排查 ninja是否安装

文章图片
#pytorch#人工智能
docker指定使用某几张显卡/某几个GPU

查看本机显卡信息#查看显卡信息,红色框为卡编号nvidia-smi启动容器指定显卡#使用第3,4张卡--gpus='"device=3,4"'示例:docker run -ti --gpus='"device=3,4"' \-v /data/common_data/ASR:/workspace/data \--tmpfs /tmp \--entrypoint=/bin/bash \--net=ho

到底了