Pytorch 分佈式訓練技巧。

ddddd

CrossEntropyLoss

https://zhuanlan.zhihu.com/p/106935263?utm_source=wechat_session

linux中在docker container中使用宿主机的GPU资源

在vscode中配置c++运行调试环境的准备工作1 安装必要的扩展 比如：像gdb也要在终端机器上安装，2 支持文件。一般来说， c_cpp_properities.json launch.json 和 tasks.json就够了。可以通过ctrl+shift+p来搜索。至于launch.json在按F5运行的时候，会有提醒，安装即可。下边是最重要的设置。c_cpp_properties.json

windows配置c++

windows下在vscode中切换虚拟环境

1 下载opencv，自己经过一定修改2cmake -D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_INSTALL_PREFIX=/usr/local ..3 make -j4sudo make install5 vscode配置直接按F5生成 launch.json"version": "0.2.0","configurations": [{"name": "clang

local_rank： rank是指在整个分布式任务中进程的序号；local_rank是指在一台机器上(一个node上)进程的相对序号，例如机器一上有0,1,2,3,4,5,6,7，机器二上也有0,1,2,3,4,5,6,7。每个node包含16个GPU，且nproc_per_node=8，nnodes=3，机器的node_rank=5，请问world_size是多少？物理节点，就是一台机器，节点