迁移学习与微调的区别
一、迁移学习：1、从字面意义上理解是知识转移的学习方法，指一种学习方法；类比机器学习、深度学习等等概念；2、把已训练好的模型参数迁移到新的模型来帮助新模型训练二、微调：1、从字面意义上理解是小小的调整；指的是一种实现技术或者工具2、对训练好的模型的参数进行小小的调整；三、迁移学习与微调的关系在迁移学习过程中，直接拿来在新场景中使用，一般是不会有很好的效果，或者说要取得更优的效果，是需要作一些适配或
·
一、迁移学习：
1、从字面意义上理解是知识转移的学习方法，指一种学习方法；类比机器学习、深度学习等等概念；
2、把已训练好的模型参数迁移到新的模型来帮助新模型训练
二、微调：
1、从字面意义上理解是小小的调整；指的是一种实现技术或者工具
2、对训练好的模型的参数进行小小的调整；
三、迁移学习与微调的关系
在迁移学习过程中，直接拿来在新场景中使用，取得更优的效果，是需要作相应的处理，而微调是实现迁移学习中的一种工具；处理主要分为两类：
1、Extract Feature Vector：bert论文中(亦称feature-based)先计算出预训练模型对所有训练和测试数据的特征向量，然后抛开预训练模型，然后基于已经提取出来的特征向量设计新的分类模型
2、fine-tune:对预训练模型作些小小的调整；预训练模型可以作为新场景下的训练初始参数，也可以冻结部分层，其他参数可以在训练中进行改变；也可以为预训练模型增加一个全连接层，在训练过程中，仅仅更新新层参数
更多推荐
3
0- 0
已为社区贡献1条内容
所有评论(0)