【深度学习-LOSS】loss曲线的各种情况对应解决办法

“loss的各种情况”【基础情况】train losstest loss情况解决办法下降下降网络仍在学习（????）增加EPOCH直到不再下降下降下降网络过拟合（????）减小层中units数 / 减小层数 / 简化网络结构不变下降数据集有问题（????）检查数据集不变不变学习遇到瓶颈（????）减小学习率 / 减小BATCH SIZE【补充情况】train losstest loss情况解决办法

凡天宁

6027人浏览 · 2021-04-20 02:01:39

凡天宁 · 2021-04-20 02:01:39 发布

“loss的各种情况”

【基础情况】

train loss	test loss	情况	解决办法
下降	下降	网络仍在学习（😄）	增加EPOCH直到不再下降
下降	下降	网络过拟合（😦）	减小层中units数 / 减小层数 / 简化网络结构
不变	下降	数据集有问题（😡）	检查数据集
不变	不变	学习遇到瓶颈（😦）	减小学习率 / 减小BATCH SIZE

【补充情况】

train loss	test loss	情况	解决办法
下降	波动下降	学习率过大或 BATCHSIZE过大	如果收敛，可以不管 / 如果不收敛，减小学习率或BATCHSIZE
收敛到较大值	收敛到较大值	可能是陷入了局部极小值	换一种带动量的optimizer试试