pytorch的数据读取pytorch数据读取的核心是torch.utils.data.DataLoader类，具有以下特性：支持map-style datasets和iterable-style datasets自定义数据读取顺序自动批量化单线程/多线程读取自动内存锁页1. 整体流程DataLoader的参数如下，主要涉及DataSet、sample、collate_fn、pin_memory。

每次打开Pycharm都会一直scanning files to index，无法运行文件，这两个链接里的解决方法我都试过了，并且重新安装了好几次pycharm都不行，http://stackoverflow.com/questions/29030682/pycharm-4-0-5-hangs-on-scanning-files-to-index-background-task和http:...

近期想完全自己动手实现一个deep learning的多分类任务，数据集直接用Python在网页上抓取，主要用到Python模块：        --  re模块(正则表达式)        --  requests模块一 用到的Python模块简介    1、 re模块        正则表达式是一种强大的用于字符串匹配的工具，很多编程语言中（包括Python）都有正则表达式的概念，就是用预先定

本文记录下在centos 7.5服务器下配置环境踩过的坑，配置的内容包括显卡驱动，多版本cuda,cudnn（由于不同版本的tensorflow-gpu对cuda和cudnn的版本有不同的需求。可能需要同时配置cuda8+cudnn5.1和cuda9+cudnn7，tensorflow-gpu版本和cuda/cudnn版本的对应关系见博客。）。tensorflow-gpu的安装一 显卡驱动...

linux下：截止2019.6.6号tensorflow版本对应的python版本，编译器版本。cuda，cudnn版本，如下windos，macos及更新的版本对应信息可直接查看官方文档

在进行机器学习，深度学习任务时，经常会碰到数据不均衡的问题。如果数据严重失衡甚至会导致训练后的模型对任何样本对判别为训练数据中占比较多的一类。以下总结了再做图像任务时，处理数据不均衡问题常用的几种方法。下面分别从数据层面和优化算法层面考虑分别介绍。一、数据层面1、欠采样对不均衡数据中样本较多的一类进行采样，使其约等于样本量较少的一类。但是，由于图像任务模型一般...

在进行机器学习，深度学习任务时，经常会碰到数据不均衡的问题。如果数据严重失衡甚至会导致训练后的模型对任何样本对判别为训练数据中占比较多的一类。以下总结了再做图像任务时，处理数据不均衡问题常用的几种方法。下面分别从数据层面和优化算法层面考虑分别介绍。一、数据层面1、欠采样对不均衡数据中样本较多的一类进行采样，使其约等于样本量较少的一类。但是，由于图像任务模型一般...

在进行机器学习，深度学习任务时，经常会碰到数据不均衡的问题。如果数据严重失衡甚至会导致训练后的模型对任何样本对判别为训练数据中占比较多的一类。以下总结了再做图像任务时，处理数据不均衡问题常用的几种方法。下面分别从数据层面和优化算法层面考虑分别介绍。一、数据层面1、欠采样对不均衡数据中样本较多的一类进行采样，使其约等于样本量较少的一类。但是，由于图像任务模型一般...

CNN的卷积核大小都是奇数而没有偶数主要有以下两点原因：1、奇数卷积核有中心像素点如下图中，奇数大小的卷积核有唯一的中心像素点，而偶数大小的卷积核没有中心像素点为什么需要中心像素点？因为中心像素点有以下两点左右：确定局部卷积后要更新的像素点位置。如下图的卷积操作，中心像素的位置对应着当前卷积操作wx+b的值要赋给那个位置。如果卷积核是偶数，中...

多分类模型和多任务模型（Multi-task Model）的区别在于：多分类模型：样本集包含多个类别，但是一个样本只属于一类。多任务模型：样本集包含多个类别，一个样本可以属于多个类别。一、多分类模型1、多分类模型使用交叉熵损失函数。在计算时其实就是-log(pt)，对一个样本来说，pt就是该样本真实的类别，模型预测样本属于该类别的概率。例如某样本的label是[0,1,...