MindYOLO使用自定义coco2017数据集训练错误 配置ubuntu系统、CUDA11.6、MindSpore 2.2.14、MindYOLO 0.3.0。训练指令错误日志。

1、在训练了很多个batch之后，提取出来的特征(经过了4层卷积层和全连接层)出现了很大很大的值，之后几个batch后出现NAN，而在没有经过全连接层的时候，特征数字还是正常的。# set diagonal as zero and normalize 原论文是l1归一化。1采用warmup调整一下学习率，最大学习率设置为0.01；3检查最后是否进行归一处理，估计可能取值范围不在0-1之间。2采用梯

运行： docker run -it -v /dev/shm:/dev/shm --runtime=nvidia --privileged=true swr.cn-south-1.myhuaweicloud.com/mindspore/mindspore-gpu:1.3.0 /bin/bash。使用docker安装mindspore1.3还需要限制cuda版本？1.3只提供了cuda11.1版本，

参照按安装指南：https://www.mindspore.cn/install/基础环境：CUDA 11.6具体如图：执行测试过程中一直报错，请问这是哪里的问题呢？或者还需要配置其它什么东西？

原文：相关内容参考：docker 容器内安装 nccl后，测试是否安装成功：使用NVIDIA公司官方提供的测试工具：下载后，进行编译： make默认，cuda的安装位置：/usr/local/cuda默认，nccl的安装位置：/usr如果cuda和nccl的安装位置不是默认的，而是手动选择其他地方的，那么需要在make的时候配置路径：CUDA_HOME 为 cuda的安装路径。NCCL_HOME

在UBUNTU22.04上新建了一个16G的交换分区来作为备用内存，之后再跑代码就不会崩了，同时我监控了CPU的使用情况，确实跑满了16G内存又跑了8G交换分区，可见确实是内存不够导致出现退出的情况，目前代码运行已无问题。1、正确配置显卡驱动和安装cuda，自己写了个一个用GPU训练的测试程序，没有问题。2、运行我自己写得网络的时候，数据处理部分没有问题，到训练那一步的时候。用pycharm的时候

***************************************************解答*****************************************************从你的截图里只知道你在第三张卡（rank2）上的程序被killed了，signal 9 是linux scheduler杀死进程而非进程自己退出（用2GPU可以跑，但是4GPU或8GPU会

highlight=conv3d#torch.nn.Conv3d 中的描述，而mindspore.nn.Conv3d对应的默认参数为weight_init='normal'在相同的维度且数值为1的输入下，发现pytorch输出数值靠近1和-1，而mindspore的输出数值却几乎接近于0，请问这是哪里的问题？2.1：torch.nn.Conv3d的bias默认=True，这个参数对应在ms中为ha

***************************************************解答*****************************************************无论将生成好的hdf5数据文件放在哪个目录下，都会出现如上报错。请试一下把脚本中的路径改成绝对路径试试。

执行指令拉取的任务线程全在第一张卡上 并没有分布在四张卡上 这种情况是因为多卡不同机吗 求助使用modelarts 算力集群sh内容推理文件。