一、梯度下降算法本文介绍梯度下降算法，其本质是仅仅使用函数的一阶导数信息选取下降方向dkd_kdk​。梯度下降法的方向选取非常直观，实际应用范围非常广，因此它在优化算法中的地位可相当于高斯消元法在线性方程组中的地位。此外我们也会介绍BB方法，该方法作为一种梯度法的变形，虽然理论性质目前仍不完整，但由于优秀的数值表现，也是在实际应用中使用较多的一种算法。对于光滑函数f(x)f(x)f(x)，在迭代点