吴恩达-深度学习笔记《序列模型》
课程内容：-理解如何构建并训练循环神经网络（RNN），以及一些广泛应用的变体，例如GRU和LSTM-能够将序列模型应用到自然语言问题中，包括文字合成。-能够将序列模型应用到音频应用，包括语音识别和音乐合成第一周循环序列模型本周的知识点是循环神经网络。这种类型的模型已经被证明在时间数据上表现非常好，它有几个变体，包括 LSTM、GRU...
·
序列模型概览
**提出：**DNN存在一个缺陷：无法对时间序列上的变化进行建模，然而，样本出现的时间顺序对于自然语言处理、语音识别等应用很重要；RNN解决了样本的处理在各个时刻独立的问题，可以对时间序列上的变化进行建模，深度是时间上的长度。神经元的输出可以在下一个时间戳直接作用到自身。即，某一层某一时刻神经元的输入，除了上一层神经元在该时刻的输出外，还有本身在上一时刻的输出。
缺点：时间轴上的“梯度消失”，为解决这个问题——>长短时记忆单元LSTM：通过门的开关实现时间上记忆功能，防止梯度消失。
RNN的梯度消失、爆炸问题
lstm
LSTM防止梯度弥散和爆炸：LSTM用加和的方式取代了乘积，使得很难出现梯度弥散。但是相应的更大的几率会出现梯度爆炸，但是可以通过给梯度加门限解决这一问题
GRU
CSDN联合极客时间，共同打造面向开发者的精品内容学习社区，助力成长！
更多推荐
0
0- 0
已为社区贡献1条内容
所有评论(0)