BERT自2018年横空出世以来，使得成为处理NLP任务的标配，如何有效的微调预训练语言模型（PLMs）对下游任务来说至关重要，然而，由于预训练机制，PLMs存在过拟合预训练数据和任务的风险，导致与下游任务之间存在Gap，在finetune的过程中，这种Gap可能无法消除并导致局部最优。鉴于此，今天介绍的这篇ACL 2022的论文则提出了一种简单且有效的解决方法NoisyTune，通过在微调PLM

本篇主要拆析了SimCSE以来几种比较重要的文本增强式的对比学习算法，按时间顺序，理论上应该是距离越近的算法效果越好，但使用时，还是要结合具体的业务场景，算法没有好坏，还是用看怎么用。对于有些内容，可能叙述的不是很细致或是需要一定的知识铺垫，感兴趣的同学可以针对性的研读论文和辅助其他资料。当然，算法层出不穷，更新很快，后续出现比较重要的对比学习算法，我也会更新，也欢迎各位交流讨论。

预训练语言模型（pre-train language model）相信大家都已经很熟悉了，本篇主要是对的原理及几种主要的预训练语言模型（PLMs）做简要的梳理。PLMs：先在一批语料上训练模型，然后在该模型基础上继续训练或另做他用。预训练阶段：一般会在超大规模语料上，利用无监督或弱监督的方式训练模型，该模型具备两个特点：①能够学习到足够多的语言知识；②参数规模很大。微调阶段：利用预训练好的模型，去

预训练语言模型（pre-train language model）相信大家都已经很熟悉了，本篇主要是对的原理及几种主要的预训练语言模型（PLMs）做简要的梳理。PLMs：先在一批语料上训练模型，然后在该模型基础上继续训练或另做他用。预训练阶段：一般会在超大规模语料上，利用无监督或弱监督的方式训练模型，该模型具备两个特点：①能够学习到足够多的语言知识；②参数规模很大。微调阶段：利用预训练好的模型，去

NLP方向的对比学习算法，针对文本相似度匹配任务，包括BERT-Flow、BERT-Whitening、ConSERT原理详解。