上一节介绍了DistilBERT模型，本节将继续介绍优化性更强的知识蒸馏BERT模型——TinyBERT模型。

本节作为介绍凸函数的铺垫，简单介绍方向导数与梯度。

分享一个python写日志的函数

上一节从霍夫丁不等式为切入点，介绍了样本平均值和全样本期望，本节将继续介绍PAC学习。

上一节介绍并证明了：梯度下降法在强凸函数上的收敛速度满足Q-线性收敛。本节将介绍在更强的条件下：函数f(⋅)在其定义域内二阶可微，梯度下降法在f(⋅)上的收敛速度存在什么样的结论。

上一节对Nesterov动量法进行了简单认识，本节将介绍AdaGrad方法。

本节将介绍核方法以及核函数。

本节将介绍一个经典的基于线性分类的概率生成模型——朴素贝叶斯分类器(Naive Bayes Classifier)。

上一节整体介绍了经典牛顿法，并讨论了其更新方向Pk是否为下降方向。本节将对经典牛顿法在迭代过程中的收敛性进行分析。

本节对收敛速度简单介绍。