如何使用预训练模型一、思路首先要考虑目标模型的数据量及目标数据与源数据的相关性。一般要根据数据集与预训练模型数据集的不同相似度，采用不同的处理方法。上图中1、数据集小，数据相似度高理想情况，可以将预训练模型当做特征提取器使用，所以有时候称为特征抽取。做法：去掉输出层，将剩下的整个网络当做一个固定的特征提取机，应用到新的数据集中。2、数据集大，数据相似度高冻结预处理模型中少量较低层，修改分类器，然后

利用Bert进行特征提取

解决方法：参考https://blog.csdn.net/qq_43521500/article/details/108751507成功解决