微调【动手学深度学习v2】
·
在一个已经训练的模型进行微调，用于自己的模型。
一个神经网络的架构
特征抽取+数据分类
微调的含义是我们在一个大的数据集训练好的模型，我们可以直接使用人家的特征提取，但是最后一层不可以用，因为模型分类是改变了
是一个目标数据集上的正常训练任务，但使用更强的正则化，使用更小的学习率，使用更少的数据迭代（源数据集远复杂于目标数据），通常微调效果更好
越到下面的层越是一些图片的细节，越上面与自己的图片更加相关。所以我们一般固定底部的参数，不参与更新。
总结
微调通过使用在大数据上得到的预训练好的模型来初始化模型权重来完成提升精度
预训练模型质量很重要，微调通常速度更快、精度更高
更多推荐
0
0- 0
已为社区贡献6条内容
所有评论(0)