本文介绍了机器学习中两种核心优化算法：梯度下降法和牛顿法。梯度下降法基于一阶泰勒展开，通过计算损失函数的梯度来更新参数，适用于高维参数空间和深度学习场景。牛顿法引入二阶导数（海森矩阵），收敛速度更快但计算成本较高，适合小规模模型优化。文章详细推导了两种方法的数学公式，并对比了其适用场景：梯度下降计算简单适合大规模数据，牛顿法精度高但计算复杂。最后还介绍了梯度下降的三种变体（BGD、SGD、Mini