是一种预训练语言模型，由google公司在2018年推出，自推出起，在众多自然语言任务中广为使用。其特点是采用了Transformer模型中的Encoder编码器结构，通过对上下文的双向编码实现文本向量化。