随机梯度下降：SGD是每次使用一个训练样本xix_ixi​和标签yiy_iyi​进行一次参数更新，SGD通过一次执行一次更新解决了BGD中，每一次参数更新都要计算很多相似样本的梯度的问题，因此通常SGD的速度会非常快而且可以被用于在线学习。SGD以高方差的特点进行连续参数更新，导致目标函数严重震荡，然而SGD的震荡特点导致其可以跳到新的潜在的可能更好的局部最优点批量梯度下降：BGD。

随机梯度下降：SGD是每次使用一个训练样本xix_ixi​和标签yiy_iyi​进行一次参数更新，SGD通过一次执行一次更新解决了BGD中，每一次参数更新都要计算很多相似样本的梯度的问题，因此通常SGD的速度会非常快而且可以被用于在线学习。SGD以高方差的特点进行连续参数更新，导致目标函数严重震荡，然而SGD的震荡特点导致其可以跳到新的潜在的可能更好的局部最优点批量梯度下降：BGD。

将常见的算法进行分类总结