这几天因为要对yolo进行重新训练，需要用到imagenet pretrain，由于网络是自己设计的网络，所以需要先在darknet上训练imagenet，由于网上都没有相关的说明教程，特别是图片路径是怎么和类别标签对应起来的，让我百思不得其解，所以最后就自己去查看了darknet的源码，发现原来作者是用了字符串匹配，来查找图片路径字符串中是否有与类别标签字符串匹配的子字符串，以此判断该类别标签的

我学机器学习的算法不是系统学习的，只有项目要用到的时候，才马上学，BP神经网络可以说是我比较早学习的一个机器学习算法，当时连回归的梯度下降法都还没学，所以整个过程学起来迷迷糊糊的，我的学习思路一般是先大体把算法原理看一下，然后网上下一份代码，慢慢解读，解读完后又回去把理论深入理解一下，最后自己再写过一遍的代码。因为BP神经网络的求解是用到了梯度下降法，所以建议学习这个算法前，先推导一下回归拟合过程

最近几天为了希望深入理解caffe，于是便开始学起了caffe函数的c++调用。自然而然我们要学的第一步就是学习最简单的接口函数，因为对于预测分类的函数调用，caffe为我们提供了一个例子，一开始我懒得解读这个例子，网上找了一些分类预测的例子，总是会出现各种各样的错误，于是没办法最后只能老老实实的学官方给的例子比较实在，因此最后自己把代码解读了一下，然后自己整理成自己的类，这个类主要用于训练好模型

异构计算GLSL学习笔记（1）最近开始学习深度学习的一些gpu编程，大体学了cuda后，感觉要在手机上跑深度学习，没有nvidia显卡，不能加速。所以只能老老实实的学习opengl的shader编程，进行gpu通用计算加速，总的感觉shader编程比cuda编程难，还好自己之前研究生的时候，经常用opengl的一些API函数，对opengl比较了解。对于每一种语言，最简单的学习程序就是：h

本篇博文主要讲解2013年face++的大牛们提出的改进的DCNN模型《Extensive Facial Landmark Localizationwith Coarse-to-fine Convolutional Network Cascade》，发表于2013年ICCV上的一篇用于定位多个人脸特征点的文献，实现了68个人脸特征点的高精度定位。这篇paper没有给出训练数据，也没有给出测试模型、

本篇博文主要讲解2013年CVPR的一篇利用深度学习做人脸特征点定位的经典paper：《Deep Convolutional Network Cascade for Facial Point Detection》，论文的主页为：http://mmlab.ie.cuhk.edu.hk/archive/CNN_FacePoint.htm 。网页提供了训练数据、测试demo，但是我却没有找到源码，所以只

本篇博文主要讲解2014年ICLR的一篇非常牛逼的paper：《Network In Network》，过去一年已经有了好几百的引用量，这篇paper改进了传统的CNN网络，采用了少量的参数就松松击败了Alexnet网络，Alexnet网络参数大小是230M，采用这篇paper的算法才29M，减小了将近10倍啊。这篇paper提出的网络结构，是对传统CNN网络的一种改进(这种文献少之又少，所以感觉

近年来深度学习捷报连连，声名鹊起，随机梯度下架成了训练深度网络的主流方法。尽管随机梯度下降法，将对于训练深度网络，简单高效，但是它有个毛病，就是需要我们人为的去选择参数，比如学习率、参数初始化等，这些参数的选择对我们的训练至关重要，以至于我们很多时间都浪费在这些的调参上。那么学完这篇文献之后，你可以不需要那么刻意的去调整学习率这些参数。就像什么激活函数层、卷积层、全连接层一样，

Maxout网络学习Maxout是深度学习网络中的一层网络，就像什么激活函数层、池化层、卷积层一样。我们假设网络某一层的输入特征向量为：X=（x1,x2,……xd），也就是我们输入是d个神经元。Maxout隐藏层每个神经元的计算公式如下：上面的公式就是maxout隐藏层神经元i的计算公式。其中k就是maxout层所需要的参数了，由我们人为设定大小。就像dropout一样，也有自己的参数p(每个神经

caffe对于训练数据格式，支持：lmdb、h5py……，其中lmdb数据格式常用于单标签数据，像分类等，经常使用lmdb的数据格式。对于回归等问题，或者多标签数据，一般使用h5py数据的格式。当然好像还有其它格式的数据可用，不过我一般使用这两种数据格式，因此本文就主要针对这两种数据格式的制作方法，进行简单讲解。一、lmdb数据lmdb用于单标签数据。为了简单起见，我后面通过一个性别分类作为例子，