LSTM：参数量参数量是RNN的4倍：LSTM：输入输出和RNN相同。

定义：最简单的深度网络称为多层感知机。多层感知机由多层神经元组成，每一层与它的上一层相连，从中接收输入；同时每一层也与它的下一层相连，影响当前层的神经元。线性不可分问题： Minsky 1969 年提出 XOR 问题，无法进行线性分类。解决方法：使用多层感知机。在输入和输出层间加一或多层隐单元，构成多层感知器（多层前馈神经网络）。加一层隐节点（单元）为三层网络，可解决异或（ XOR ）问题。