从零搭建知识图谱（一）

预训练语言模型（pre-train language model）相信大家都已经很熟悉了，本篇主要是对的原理及几种主要的预训练语言模型（PLMs）做简要的梳理。PLMs：先在一批语料上训练模型，然后在该模型基础上继续训练或另做他用。预训练阶段：一般会在超大规模语料上，利用无监督或弱监督的方式训练模型，该模型具备两个特点：①能够学习到足够多的语言知识；②参数规模很大。微调阶段：利用预训练好的模型，去

NLP方向的对比学习算法，针对文本相似度匹配任务，包括BERT-Flow、BERT-Whitening、ConSERT原理详解。