本节将介绍：梯度下降法在强凸函数上的收敛性，以及证明过程。

上一节介绍了非精确搜索方法——Wolfe准则。本节将简单认识：Wolfe准则的收敛性证明。

从本节开始将介绍集成学习的思想，本节将介绍统计机器学习中用来衡量模型的重要指标——偏差与方差。

上一节使用公式推导的方式介绍了狄利克雷过程中标量参数α的极端取值对于生成的随机测度离散程度的影响。本节从随机测度的生成角度对标量参数α与离散程度的关系进行描述。

上一系列介绍了EM算法，本节将介绍第一个基于EM算法求解的概率生成模型——高斯混合模型(Gaussian Mixture Model,GMM)。

上一节介绍了随机梯度下降(Stochastic Gradient Descent,SGD)，本节将介绍动量法。

从本节开始，将对最优化理论与方法进行简单认识。

本节将介绍无约束优化问题的常用求解方法，包括坐标轴交替下降法、最速下降法。

上一节介绍了Boosting集成思想的经典样例——Gradient Boosting，本节将介绍基于Gradient Boosting的经典模型——梯度提升树(Gradient Boosting Decision Tree,GBDT)。

从本节开始，将介绍正则化，并从拉格朗日乘数法角度进行观察。