【pytorch】RuntimeError: cublas runtime error 或者 RuntimeError: cublas runtime error

跑pytorch的代码，遇到一个错误：RuntimeError: cublas runtime error : resource allocation failed at /pytorch/aten/src/THC/THCGeneral.cpp:411.官方在github的issue里回答过这个问题，基本上只要更新就能解决，或者加一句代码。链接。然而我更新以后，错误换了个马甲：Runtim...

文章共285字 · 阅读需要大约1分钟

一键AI生成摘要，助你高效阅读

问答

dongtuu

21524人浏览 · 2019-02-23 21:52:35

dongtuu · 2019-02-23 21:52:35 发布

跑pytorch的代码，遇到一个错误：
RuntimeError: cublas runtime error : resource allocation failed at /pytorch/aten/src/THC/THCGeneral.cpp:411.
官方在github的issue里回答过这个问题，基本上只要更新就能解决，或者加一句代码。链接。

然而我更新以后，错误换了个马甲：
RuntimeError: cublas runtime error : library not initialized at /opt/conda/conda-bld/pytorch_1549630534704/work/aten/src/THC/THCGeneral.cpp:250

花了好几个小时研究问题，无解。后来看到有人说pytorch在cuda上的stack trace做得不好，所以放在cpu下才能看到正确的报错。于是改到cpu跑，发现问题是数组下标越界……wtf

cuda版本的报错还是准的，一大片报错里反反复复都是：
/opt/conda/conda-bld/pytorch_1549630534704/work/aten/src/ATen/native/cuda/IndexKernel.cu:53: lambda [](int)->auto::operator()(int)->auto: block: [3151,0,0], thread: [31,0,0] Assertion index >= -sizes[i] && index < sizes[i] && "index out of bounds" failed.
然而最后几句定位到我自己写的代码就出现了位置偏差，找半天也找不到问题所在=_=