可使用学习率调度（learning rate scheduling），随着训练进行逐渐降低学习率，例如指数衰减。beta_1是一阶矩估计的指数衰减率，默认值为0.9，控制过去梯度信息在当前梯度估计中的权重；beta_2是二阶矩估计的指数衰减率，默认值为0.999，影响梯度平方的累积。在带动量的SGD中，动量项帮助加速收敛，减少振荡。它模拟了物理中的动量概念，使参数更新方向不仅取决于当前梯度，还考虑