深度学习:手动调整学习率
·
一,等间隔调整学习率
步长相同,操作简单。

二,指定间隔调整学习率
自己指定,自由度高,但是可能不准

三,指数调整学习率
lr新 = lr旧 * 0.9 ^ epoch
占资源,剩下的全是优点,符合训练规律,前期快,后期慢

更多推荐
一,等间隔调整学习率
步长相同,操作简单。

二,指定间隔调整学习率
自己指定,自由度高,但是可能不准

三,指数调整学习率
lr新 = lr旧 * 0.9 ^ epoch
占资源,剩下的全是优点,符合训练规律,前期快,后期慢

更多推荐
所有评论(0)