上一节介绍了随机梯度下降(Stochastic Gradient Descent,SGD)，本节将介绍动量法。

从本节开始，将对最优化理论与方法进行简单认识。

本节将介绍无约束优化问题的常用求解方法，包括坐标轴交替下降法、最速下降法。

上一节介绍了Boosting集成思想的经典样例——Gradient Boosting，本节将介绍基于Gradient Boosting的经典模型——梯度提升树(Gradient Boosting Decision Tree,GBDT)。

从本节开始，将介绍正则化，并从拉格朗日乘数法角度进行观察。

上一节介绍了MCMC以及平均场理论变分推断方法的弊端并介绍了醒眠算法(Weak-Sleep Algorithm)。本节将介绍从KL散度(KL Divergence)角度观察醒眠算法的两个迭代步骤。

上一节介绍了贝叶斯网络以及贝叶斯网络中条件独立性的识别：同父结构、顺序结构、V型结构。本节将介绍判别变量/特征之间是否具备条件独立性的方法——D划分。

规范错误/警告：Shadows name 'XXX' from outer scope

本节将介绍凸函数定义及其基本性质。

本节从代码角度，介绍基于高维特征向量使用Nadaraya-Watson核回归的示例。