逐层贪婪训练，无监督预训练（unsupervised pre-training）即训练网络的第一个隐藏层，再训练第二个…最后用这些训练好的网络参数值作为整体网络参数的初始值。

1、Mini-batch梯度下降法;2、指数加权平均;3、momentum、RMSProp、Adam优化算法;4、学习率衰减.

目前CNN在图像分类领域是做的最好的，其次是物体检测领域，图像分割、图像标准、图像生成这三个领域也在蓬勃发展，发展速度很快，各种paper层出不穷，发展空间巨大。

1、Mini-batch梯度下降法;2、指数加权平均;3、momentum、RMSProp、Adam优化算法;4、学习率衰减.

深度学习框架提供的 “Model Zoo” ，有大量的在大数据集上预训练的可供下载的模型

具有数量众多计算单元和超长流水线、具备强大并行计算能力与浮点计算能力的GPU，成为了深度学习模型训练的标配。

YOLO（You Only Look Once）是一种新的目标检测方法，该方法的特点是实现快速检测的同时还达到较高的准确率。作者将目标检测任务看作目标区域预测和类别预测的回归问题。该方法采用单个神经网络直接预测物品边界和类别概率，实现端到端的物品检测。同时，该方法检测速非常快，基础版可以达到45帧/s的实时检测；FastYOLO可以达到155帧/s。与当前最好系统相比，YOLO目标区域定位误差更大

Nvidia自带了一个 nvidia-smi的命令行工具，会显示显存使用情况，结合watch命令就可以实时监测显卡使用情况。

KITTI数据集由德国卡尔斯鲁厄理工学院和丰田美国技术研究院联合创办，是目前国际上最大的自动驾驶场景下的计算机视觉算法评测数据集。该数据集用于评测立体图像(stereo)，光流(optical flow)，视觉测距(visual odometry)，3D物体检测(object detection)和3D跟踪(tracking)等计算机视觉技术在车载环境下的性能。

人脸检测技术的突破发生在2001年，两位杰出的科研工作者Paul Viola和Michael Jones设计了出了一个快速而准确的人脸检测器：在获得相同甚至更好准确度的同时，速度提升了几十上百倍——在当时的硬件条件下达到了每秒处理15张图像的速度，已经接近实时速度25fps（即25帧每秒）。