Multiprocessing TypeError: cannot serialize '_io.TextIOWrapper' object 的解决方法

最近在学习 EDSR 项目的时候出现 TypeError: cannot serialize ‘_io.TextIOWrapper’ object，这个问题困扰了一天，讲下大概可能的问题所在。我这里主要的原因还是因为在 iter(dataloader) 的时候开了多线程 (num_workers > 0)，而在data 中传入了 ckp 这个参数，_data = data.Data(ar..

莫说相公痴

7758人浏览 · 2020-03-16 15:04:43

莫说相公痴 · 2020-03-16 15:04:43 发布

这个问题主要是出在了在multiprocessing中，开新的process的时候有对象是一个 _io.TextIOWrapper，而这个类很大可能是你打开了一个文件并将其赋值给了一个变量同时该文件没有关上，那么这个变量就是一个 _io.TextIOWrapper 对象，且这个对象在multiprocessing中是不能被序列化的。
解决方式是将变量 _io.TextIOWrapper 在开新的process的时候关掉或者不共享。

华为云开发者联盟

为开发者提供学习成长、分享交流、生态实践、资源工具等服务，帮助开发者快速成长。

更多推荐