BERT是由 Google 在 2018 年提出的一种预训练语言模型，它极大推动了自然语言处理（NLP）的发展。BERT 的论文是：单向语言模型（从左到右）需要针对每个任务单独训练而 BERT 提出了 双向上下文表示（Bidirectional Contextual Representation），可以同时利用句子左右两侧的信息。例如一句话：苹果很好吃传统模型可能只看到：苹果 → 很好吃而 BER