当然我们也可以灵活搭配各种结构，如卷积层+卷积层、卷积层+卷积层+池化层，这些在构建模型时没有限制。在若干卷积层+池化层后面是全连接层（Fully Connected Layer，简称FC），全连接层实际上就是DNN的结构，输出层采用的是Softmax层做图像的分类。从CNN的结构可以看出，CNN相对于DNN，比较特殊的就是卷积层和池化层，只要把卷积层和池化层的原理搞清楚，那么搞清楚CNN就很容易

当然我们也可以灵活搭配各种结构，如卷积层+卷积层、卷积层+卷积层+池化层，这些在构建模型时没有限制。在若干卷积层+池化层后面是全连接层（Fully Connected Layer，简称FC），全连接层实际上就是DNN的结构，输出层采用的是Softmax层做图像的分类。从CNN的结构可以看出，CNN相对于DNN，比较特殊的就是卷积层和池化层，只要把卷积层和池化层的原理搞清楚，那么搞清楚CNN就很容易

神经网络不应该看做是一个算法，应该看做是一个特征挖掘方法。在实际的业界发展过程中，数据的作用往往大于模型，当我们把数据的隐藏特征提取出来之后，用很简单的模型也能预测的很好。神经网络模型由生物神经中得到启发。在生物神经元细胞中，神经突触接收到信号，经过接收并处理信号后判断信号的信息强弱，来做出不同神经电位变化反应。受此启发，科研人员设计出基础的神经网络模型结构，神经元模型（Neuron Model）

前面我们讲了DNN，以及DNN的特例CNN的模型及其前向反向传播算法，这些算法都是前向反馈的，模型的输出和模型本身没有关联。今天我们就讨论另一类模型间有反馈的神经网络：循环神经网络（Recurrent Neural Networks，以下简称RNN），它广泛的用于自然语言处理中的语音识别、手写识别及机器翻译等。