本节作为介绍凸函数的铺垫，简单介绍方向导数与梯度。

目录1. 准备内容1.1 基于动态规划(DP)方法的强化学习介绍动态规划方法(DP)的局限性：1.2 基于蒙特卡洛(MC)方法的强化学习介绍蒙特卡洛(MC)方法的局限性：2. 基于MC的增量更新方式2.1 增量更新和全量更新2.2 基于MC的全量更新方法和增量更新方法2.3 基于MC的增量更新方法的局限性3. 时序差分方法(Temporal Difference,TD)3.1 时序差分和基于MC增

上一节介绍了从权重衰减的角度描述正则化的本质，本节从贝叶斯概率的角度对正则化进行描述。

上一节简单介绍了高斯过程，本节将从权重空间角度(Weight-Space)介绍高斯过程回归

上一节对隐马尔可夫模型(Hidden Markov Model,HMM)进行了归纳介绍。本节将详细介绍使用前向算法(Forward Algorithm)对处理求值(Evaluation)问题。

上一节介绍了基于Nesterov动量与RMSProp的融合算法，本节将介绍《深度学习(花书)》P187 8.5自适应学习率算法中的最后一个算法：Adam算法。

nvidia-smi:Failed to initialize NVML: Driver/library version mismatch的一种解决方式，希望对大家有用。

本节将介绍随机梯度下降(Stochastic Gradient Descent,SGD)

上一节介绍了卷积的基本思想以及图像卷积操作，本节将介绍卷积神经网络，并从反向传播角度认识卷积神经网络。

上一节介绍了循环神经网络(Recurrent Neural Network,RNN)的反向传播过程，本节将针对RNN存在的梯度消失问题，介绍一种新的网络——长短期记忆神经网络(Long-Short Term Memory,LSTM)。