方法核心思想优点缺点适用场景BGD全量数据计算梯度稳定，理论收敛性好计算慢，内存需求大小数据集，理论分析SGD单样本随机更新高效，适合在线学习高方差，收敛慢大规模数据，在线学习小批量样本更新平衡速度与稳定性需调节批量大小深度学习主流方法Momentum累积历史梯度方向加速收敛，减少震荡需调节动量系数非凸优化，高维问题AdaGrad自适应稀疏参数学习率适合稀疏特征学习率过早衰减NLP，推荐系统RMS

系列笔记为本学期上抽象代数课整理的，持续更新。群是一个带有满足结合律、单位元、逆元的二元运算的集合，记作(G,⋅)\left({G, \cdot}\right)(G,⋅)。若群运算满足结合律，则该集合构成半群。如果该半群中含有单位元（幺元），则称为含幺半群。如果一个群或半群是群运算可交换的，则称这个群或半群是阿贝尔群。一个群的子群是该群中元素的一个子集，并对群乘法和逆操作保持封闭，记作H≤GH\l