在训练过程中，随着时间步的增加，梯度可能会消失或爆炸，导致模型难以学习和记忆长时间间隔的信息。还引入了一个称为记忆单元（Cell State）的概念，用于携带长期信息。能够选择性地记住或遗忘信息，从而解决了长时依赖问题。都引入了门控机制，但它们的具体实现有所不同。（门控循环单元）是另一种解决长时依赖问题的。的长时依赖问题而设计的。

R-CNN 是最早也是最有名的一类基于锚框和 CNN 的目标检测算法。Fast R-CNN 和 Faster R-CNN 持续提升性能。Faster R-CNN 和 Mask R-CNN 常用于高精度要求的场景，但速度相对较慢。速度快但精度较低。虽然作者没有持续提升，但 SSD 启发了一系列后续工作，实现上相对简单。SSD 通过单神经网络进行检测（single shot）。以像素为中心产生多个锚框

【代码】动手学深度学习（Pytorch版）代码实践 -深度学习基础-12Kaggle竞赛：预测房价。

动手学深度学习（Pytorch版）代码实践 -计算机视觉-39实战Kaggle比赛：狗的品种识别（ImageNet Dogs）比赛链接：Dog Breed Identification | Kaggle

前者支持隐状态的门控。这意味着模型有专门的机制来确定应该何时更新隐状态， 以及应该何时重置隐状态。这些机制是可学习的，并且能够解决了上面列出的问题。例如，如果第一个词元非常重要， 模型将学会在第一次观测之后不更新隐状态。同样，模型也可以学会跳过不相关的临时观测。最后，模型还将学会在需要的时候重置隐状态。我们讨论了如何在循环神经网络中计算梯度， 以及矩阵连续乘积可以导致梯度消失或梯度爆炸的问题。

【代码】动手学深度学习（Pytorch版）代码实践 -循环神经网络-51序列模型。

【代码】动手学深度学习（Pytorch版）代码实践 -计算机视觉-46语义分割和数据集。

38实战Kaggle比赛：图像分类 (CIFAR-10)比赛链接：CIFAR-10 - Object Recognition in Images | Kaggle

【代码】动手学深度学习（Pytorch版）代码实践 -卷积神经网络-23卷积神经网络LeNet。

【代码】动手学深度学习（Pytorch版）代码实践 -卷积神经网络-14模型构造。