基于Python的开源人脸识别库：离线识别率高达99.38%

YOLOv2网络通过在每一个卷积层后添加batch normalization，极大的改善了收敛速度同时减少了对其它regularization方法的依赖（舍弃了dropout优化后依然没有过拟合），使得mAP获得了2%的提升。

一般情况下，使用ReLU会比较好1、使用 ReLU，就要注意设置 learning rate，不要让网络训练过程中出现很多 “dead” 神经元；2、如果“dead”无法解决，可以尝试 Leaky ReLU、PReLU 、RReLU等Relu变体来替代ReLU；3、不建议使用 sigmoid，如果一定要使用，也可以用 tanh来替代。

深度学习框架提供的 “Model Zoo” ，有大量的在大数据集上预训练的可供下载的模型

白化的目的是去除输入数据的冗余信息。例如：训练数据是图像，由于图像中相邻像素之间具有很强的相关性，因此输入是冗余的。白化的目的就是降低输入的冗余性。

SeetaFace开源人脸识别引擎

考察深度学习基础知识的45道题目（附答案）

具有数量众多计算单元和超长流水线、具备强大并行计算能力与浮点计算能力的GPU，成为了深度学习模型训练的标配。

逐层贪婪训练，无监督预训练（unsupervised pre-training）即训练网络的第一个隐藏层，再训练第二个…最后用这些训练好的网络参数值作为整体网络参数的初始值。

L1范数和L2范数的差别一个是绝对值最小，一个是平方最小：L1会趋向于产生少量的特征，而其他的特征都是0，而L2会选择更多的特征，这些特征都会接近于0。