logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Ascend for PyTorch 上 `torch.where` 反向传播精度差异分析

在昇腾 NPU 上,反向传播时广播场景下需要对扩展维度进行 **reduce_sum 归约**,CPU 和 NPU 对浮点数的 reduce_sum 运算做不到二进制完全一致(浮点数累加顺序不同导致微小差异)。建议参照 reduce_sum 采用双千双万标准。通过以上分析,我们明确了 `torch.where` 反向传播精度差异的根因,并给出了可行的解决方案,为后续类似问题的排查和处理提供了参考。

#pytorch#深度学习#机器学习
Ascend for PyTorch 上 `torch.where` 反向传播精度差异分析

在昇腾 NPU 上,反向传播时广播场景下需要对扩展维度进行 **reduce_sum 归约**,CPU 和 NPU 对浮点数的 reduce_sum 运算做不到二进制完全一致(浮点数累加顺序不同导致微小差异)。建议参照 reduce_sum 采用双千双万标准。通过以上分析,我们明确了 `torch.where` 反向传播精度差异的根因,并给出了可行的解决方案,为后续类似问题的排查和处理提供了参考。

#pytorch#深度学习#机器学习
到底了