深度神经网络（Deep Neural Networks， 以下简称DNN）

神经网络发展

• 第一代神经网络又称为感知器，由科学家Frank Rosenblatt发明于1950至1960年代，它的算法只有两层，输入层输出层，，主要使用的是一种叫做sigmoid神经元（sigmoid neuron）的神经元模型，主要是线性结构。它不能解决线性不可分的问题，如异或操作。

• 为了解决第一代神经网络的缺陷，在1980年左右提出第二代神经网络多层感知器（MLP）。和第一代神经网络相比，第二代在输入输出层之间有增加了隐含层的感知机，引入一些非线性的结构，解决了之前无法模拟异或逻辑的缺陷。第二代神经网络让科学家们发现神经网络的层数直接决定了它对现实的表达能力，但是随着层数的增加，优化函数愈发容易出现局部最优解的现象，由于存在梯度消失的问题，深层网络往往难以训练，效果还不如浅层网络。

• 2006年Hinton采取无监督预训练（Pre-Training）的方法解决了梯度消失的问题，使得深度神经网络变得可训练，将隐含层发展到7层，有一个预训练的过程。使用微调技术作为反向传播和调优手段。减少了网络训练时间，并且提出了一个新的概念叫做"深度学习，
  直到2012年，在ImageNet竞赛中，Hinton教授的团队，使用以卷积神经网络为基础的深度学习方案，他们训练的模型面对15万张测试图像时，预测的头五个类别的错误率只有 15.3%，而排名第二的日本团队，使用的SVM方法构建的模型，相应的错误率则高达 26.2%。从此一战成名！2012年后深度学习就成为主流。

DNN

DNN是一个很广的概念，CNN（卷积神经网络）、RNN（递归神经网络）等都属于其范畴之内。CNN多用于网络结构数据类型的任务，如图像；RNN多用于时间序列类型的任务，如音频、文本（NLP）等

DNN神经网络的组成：

1. 输入层：神经网络的第一层，原始的样本数据
2. 隐藏层：除了输入层，输出层，中间的都是隐藏层
3. 输出层：神经网络的最后一层，最终的计算结果

神经网络的特点：

1. 每个连接都有个权值
2. 同一层神经元之间没有连接
3. 最后的输出结果对应的层也称之为全连接层
   
   由于DNN层数多，权重系数w和偏置b的数量很多。在DNN是如何定义的呢？
   以下图一个三层的DNN为例，第二层的第4个神经元到第三层的第2个神经元的线性系数定义为w³₂₄。上标3代表w所在的层数，而下标对应的是输出的第三层索引2和输入的第二层索引4，输入层是没有w参数的
   
   偏置b，以这个三层的DNN为例，第二层的第三个神经元对应的偏置定义为b²₃上标2代表所在的层数，下标3代表偏置所在的神经元的索引。输入层是没有偏置参数b的。