之前，基于预训练的自然语言处理任务包括两类：句子层面的任务，对句子情绪的识别，or 两个句子之间的关系；实体命名识别，需要细粒度的词元层面的输出；在使用预训练模型对下游任务进行特征表示，一般有两类策略：基于特征；代表作ELMo，对每个下游任务构造一个RNN；在预训练好的模型，它作为额外的特征一起输入到模型里。基于微调；代表作GPT，训练好的模型，对于下游任务的特定数据进行微调一下；但是，这两个都是