因为用的线程太多， 打开文件太多了导致的，如下步骤

1 num_workers变小有助于解决这个问题

    train_loader = DataLoader(
        dataset=train_set,
        batch_size=args.batchsize,
        shuffle=True,
        num_workers=4,
        pin_memory=True,
    )

2.提高linux limit

  参考https://learnku.com/articles/21457

 

3.程序中使用了Image.open, 但是没有close

img = Image.open(imgpath).convert("RGBA")
img.close()

4.不使用多线程，使用主线程加载数据

    train_loader = DataLoader(
        dataset=train_set,
        batch_size=args.batchsize,
        shuffle=True,
        num_workers=0,
        pin_memory=True,
    )

5.检查图片，是否有异常图片，加载使用主线程，对与加载的前后，打印文件名，如果，开始加载的文件名打印了，加载结束后的文件名，，没有打印，代表这个文件加载失败，查看文件图片长宽等是否异常，我遇到这个 问题是，某些图片，宽只有40，出现了异常。修复或忽略异常图片即可。

# 深度学习 # pytorch
Logo
Linux

更多推荐

网卡速率和双工模式的配置

http://linux.chinaitlab.com/system/792187.html1、mii-tool 配置网络设备协商方式的工具；    1.1 mii-tool 介绍；    mii-tool - view, manipulate media-independent interface status （mii-tool 是查看，管理介质的网络接口的状态）

avatar Linux

Linux虚拟文件系统之文件系统卸载（sys_umount())

Linux中卸载文件系统由umount系统调用实现，入口函数为sys_umount()。较于文件系统的安装较为简单，下面是具体的实现。1. /*sys_umont系统调用*/2. SYSCALL_DEFINE2(umount, char __user *, name, int, flags)3. {4.struct path path;

avatar Linux

Linux系统下超级终端Minicom的使用方法（例如：连接交换机，路由器等）转http://baike.baidu.com/view/2911642.htm?fr=ala0_1

<br />　　Linux系统下超级终端Minicom的使用方法 <br />　　Linux下的Minicom的功能与下的超级终端功能相似，适于在通过超级终端对设备的管理以及对嵌入操作系统的升级，现写出Minicom的使用手册： <br />　　1． 启动minicom <br />　　以root权限登录系统 <br />　　使用命令 <br />　　minicom –s 则minicom启动，屏

avatar Linux