*什么是BERT? *

BERT 代表(来自 Transformer 的双向编码器表示),最初由 Google 于 2018 年底发布。

它在自然语言处理领域取得了重大突破,在各种 NLP 任务中取得了更好的成果,包括问答、文本创建、句子分类等等。

BERT 的成功部分归功于它是一个基于上下文的嵌入模型,而不是像 word2vec 等其他突出的嵌入模型,后者是无上下文的。

为什么选择 BERT

BERT 很快成为 NLP 的热门话题。这是因为:

它显示出高度的语言复杂性,在某些任务上达到了人类水平的表现。

它可以用于广泛的工作。

它具有预训练和微调的优点:BERT 已经在 Google 的庞大文本语料库上进行了预训练,您可以通过在自己的应用程序上微调预训练模型(分类、实体识别、问答等)。只需最少的设计工作,您就可以获得非常精确的作业结果。

BERT 是如何工作的?

Transformer 是一种学习文本中单词(或子词)之间上下文关系的注意机制,被 BERT 使用。 Transformer 的基本形式有两个不同的过程:一个读取文本输入的编码器和一个生成作业预测的解码器。只需要编码器技术,因为 BERT 的目的是构建语言模型。

Transformer 编码器一次读取完整的单词序列,与顺序读取文本输入(从左到右或从右到左)的定向模型不同。因此,它被归类为双向,但将其描述为非定向更为正确。此属性使模型能够从其周围(单词的左侧和右侧)推断出单词的上下文

参考:

[1]S。 Ravichandiran,Google BERT 入门:使用 BERT 构建和训练最先进的自然语言处理模型。

[2]C.麦考密克,“BERT 的内部工作原理”,2020 年。

[3]https://towardsdatascience.com/bert-explained-state-of-the-art-language-model-for-nlp-f8b21a9b6270