贝尔曼最优方程目录回顾 + 补充逻辑场景设置贝尔曼最优方程最优策略与最优价值函数本节使用更新图的方式对Vπ(s)V_\pi(s)Vπ​(s)和qπ(s,a)q_\pi(s,a)qπ​(s,a)之间的关系进行详细说明，并在贝尔曼期望方程(Bellman Expectation Equation)基础上介绍贝尔曼最优方程(Bellman Optimality Equation)。

本节将介绍梯度下降法在凸函数上的收敛性。

上一节介绍了将马尔可夫链与蒙特卡洛方法相结合的算法——MH采样算法(Metropolis Hastings)，本节将介绍吉布斯采样算法(Gibbs Sampling)。

上一节介绍了基于平均场假设的变分推断与广义EM算法的关系，本节将介绍通过随机梯度的思想实现变分推断。

上一节基于马尔可夫随机场介绍了玻尔兹曼分布，本节将介绍受限玻尔兹曼机的模型表示(Representation)与学习任务(Laerning)。

关于pytorch中多个backward出现的问题：enable anomaly detection to find the operation that failed to compute its gradient, with torch.autograd.set_detect_anomaly (True)