LSTM（Long Short-Term Memory）是长短期记忆网络，是一种时间递归神经网络（RNN），主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说，就是相比普通的RNN，LSTM能够在更长的序列中有更好的表现。

 

LSTM 已经在科技领域有了多种应用。基于 LSTM 的系统可以学习翻译语言、控制机器人、图像分析、文档摘要、语音识别图像识别、手写识别、控制聊天机器人、预测疾病、点击率和股票、合成音乐等等任务。

 

使用LSTM的当前输入 和上一个状态传递下来的  拼接训练得到四个状态：

 LSTM内部主要有三个阶段：

1. 忘记阶段。这个阶段主要是对上一个节点传进来的输入进行选择性忘记。简单来说就是会 “忘记不重要的，记住重要的”。

2. 选择记忆阶段。这个阶段将这个阶段的输入有选择性地进行“记忆”。主要是会对输入 进行选择记忆。哪些重要则着重记录下来，哪些不重要，则少记一些。

3. 输出阶段。这个阶段将决定哪些将会被当成当前状态的输出。

keras.layers.LSTM(units, activation='tanh', recurrent_activation='hard_sigmoid', use_bias=True, kernel_initializer='glorot_uniform', recurrent_initializer='orthogonal', bias_initializer='zeros', unit_forget_bias=True, kernel_regularizer=None, recurrent_regularizer=None, bias_regularizer=None, activity_regularizer=None, kernel_constraint=None, recurrent_constraint=None, bias_constraint=None, dropout=0.0, recurrent_dropout=0.0, implementation=1, return_sequences=False, return_state=False, go_backwards=False, stateful=False, unroll=False)

 

1. 设计一个神经网络时，输入层与输出层的节点数往往是固定的，中间层则可以自由指定；
2. 神经网络结构图中的拓扑与箭头代表着预测过程时数据的流向，跟训练时的数据流有一定的区别；
3. 结构图里的关键不是圆圈（代表“神经元”），而是连接线（代表“神经元”之间的连接）。每个连接线对应一个不同的权重（其值称为权值），这是需要训练得到的。  

附两个深入的LSTM介绍文章：

神经网络浅讲：从神经元到深度学习 - 计算机的潜意识 - 博客园

https://blog.csdn.net/shakehands2012/article/details/109241628?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522165138542816780366515697%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=165138542816780366515697&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~top_positive~default-1-109241628.142^v9^pc_search_result_control_group,157^v4^control&utm_term=lstm代码&spm=1018.2226.3001.4187https://blog.csdn.net/shakehands2012/article/details/109241628?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522165138542816780366515697%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=165138542816780366515697&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~top_positive~default-1-109241628.142^v9^pc_search_result_control_group,157^v4^control&utm_term=lstm代码&spm=1018.2226.3001.4187