优点：使用余弦函数调整学习率，可以更平滑地调整学习率，在一定程度上避免震荡。- 优点：在指定的milestones上调整学习率，相对于StepLR更灵活。- 优点：根据验证集表现自动调整学习率，能够更好地应对训练过程中的波动。- 缺点：可能不够灵活，无法根据训练过程中的表现自动调整学习率。- 缺点：可能在某些情况下过于保守，导致学习率调整不够及时。- 优点：按指数衰减调整学习率，可以更快地降低学习