这几天因为要对yolo进行重新训练，需要用到imagenet pretrain，由于网络是自己设计的网络，所以需要先在darknet上训练imagenet，由于网上都没有相关的说明教程，特别是图片路径是怎么和类别标签对应起来的，让我百思不得其解，所以最后就自己去查看了darknet的源码，发现原来作者是用了字符串匹配，来查找图片路径字符串中是否有与类别标签字符串匹配的子字符串，以此判断该类别标签的

目前深度学习主要以有监督学习为主，有监督需要大量的标注样本数据，我们做项目的时候，一般没有那么多数据。深度生成模型目前比较经典的有：对抗网络、变分自编码器、DBN(deep belief networks)，主要应用于半监督、无监督学习，比如《Variational Autoencoder for Deep Learning of Images, Labels and Captions》、《Sem

以为作者要采用mutil-task多任务特征学习的方法，用于估计单幅图像的深度、法向量、语义分割三个任务。还以为paper即将采用跟文献《Facial Landmark Detection by Deep Multi-task Learning》一样的思想，进行提高精度，最后仔细通读全文才知道，其实这三个任务是独立的，不是传说中的“多任务特征学习”，终于松了一口气（因为之前看《机器学习及其应用20

Cluster、Job、task概念：三者可以简单的看成是层次关系：task可以看成诗每台机器上的一个进程，每个机器一般只有一个task。多个task称之为job，job又有：ps、worker两种，分别用于参数服务、计算服务。如下图所示，可以看成有四台电脑，第一台电脑用于存储参数、共享参数、共享计算，可以简单的理解成内存、计算共享专用的区域，也就是ps job。另外三台电脑用于并行计算的，也就是

网络分为全局粗估计和局部精估计，这个跟人脸特征点的DCNN网络有点类似，都属于deep network。全局粗估计CNN：这个网络包含了五个特征提取层(每层包好了卷积、最大池化操作)，在这五个卷积层后面，有链接了两个全连接层，我们最后的输出图片的宽高变为原来的1/4。不管是粗还是精网络，两个网络的输入图片是一样的，输出图片的大小也是一样的。对于粗网络和精网络的训练方法，paper采用的方法是，先训

持续更新原文地址：http://blog.csdn.net/hjimce/article/details/45421595作者：hjimce一、学习清单1、综合类(1)收集了各种最新最经典的文献，神经网络的资源列表：https://github.com/robertsdionne/neural-network-papers  里面包含了深度学习领域经典、以及最新最牛逼的算法，如果把这个列表学过一遍

从上面自编码的网络结构图，可以看到一开始输入特征是x1……x6，有六个特征，然后隐藏层的神经元只有3个，最后又用这3个神经元，要使得网络的输出尽量接近x1……x6。这就相当于我们输入了一个6维的特征向量，我们先把它降维，降到3维，然后我们利用这三维的特征向量，进行重构原始的数据。这个跟PCA降维一模一样，只不过PCA是通过求解特征向量，进行降维，是一种线性的降维方式，而自编码是利用神经网络进行降维

卷积神经网络与我们之前所学到的图像的卷积的区别，我的理解是：我们之前学图像处理遇到卷积，一般来说，这个卷积核是已知的，比如各种边缘检测算子、高斯模糊等这些，都是已经知道卷积核，然后再与图像进行卷积运算。然而深度学习中的卷积神经网络卷积核是未知的，我们训练一个神经网络，就是要训练得出这些卷积核，而这些卷积核就相当于我们学单层感知器的时候的那些参数W，因此你可以把这些待学习的卷积核看成是神经网络的训练

１、模型转换２、外部引用set(USE_CUDA OFF)set(USE_CUDNN OFF)add_subdirectory("./3dparty/mxnet/")target_link_libraries(faceattribute${OpenCV_LIBS} mxnet)#链接mxnet库

异构计算GLSL学习笔记（1）最近开始学习深度学习的一些gpu编程，大体学了cuda后，感觉要在手机上跑深度学习，没有nvidia显卡，不能加速。所以只能老老实实的学习opengl的shader编程，进行gpu通用计算加速，总的感觉shader编程比cuda编程难，还好自己之前研究生的时候，经常用opengl的一些API函数，对opengl比较了解。对于每一种语言，最简单的学习程序就是：h