基于变分推理的Droupout方法：提出对于同一个序列，在其所有时刻的循环连接上采用相同的丢弃方法，也就是说不同时刻丢弃的连接是相同的。四、RNN的长期依赖问题严重，因为其重复使用相同的循环模块（即W），导致网络在信息前向传播过程和误差反向传播过程中都出现了矩阵的幂，容易造成信息\梯度的消失或爆炸。总之，LSTM通过门控单元以及元胞状态单元的线性自循环，给梯度的长距离持续流通提供了路径，改变了之前