写文章
- @qq_51355132
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
GRU门控循环单元自学笔记（动手学深度学习）
在上一章节中，通过对RNN模型计算图进行反向传播链式求导推理，可以看出普通RNN模型可能存在梯度爆炸或梯度消失的问题（因为存在矩阵的次幂项）。因此在本章中提出了若干模型可以缓解梯度消失或梯度爆炸，并且这些模型可以做到对不同时间步设置不同权重（为重要时间节点赋予较大权重并更新隐状态，为不重要的时间节点赋予较小权重并且不更新隐状态）。相反，当Zt接近0时，新的隐状态Ht就会接近候选隐状态H~t。这一步
GRU门控循环单元自学笔记（动手学深度学习）
在上一章节中，通过对RNN模型计算图进行反向传播链式求导推理，可以看出普通RNN模型可能存在梯度爆炸或梯度消失的问题（因为存在矩阵的次幂项）。因此在本章中提出了若干模型可以缓解梯度消失或梯度爆炸，并且这些模型可以做到对不同时间步设置不同权重（为重要时间节点赋予较大权重并更新隐状态，为不重要的时间节点赋予较小权重并且不更新隐状态）。相反，当Zt接近0时，新的隐状态Ht就会接近候选隐状态H~t。这一步
到底了