作者提出了一种新的语言表示模型，称为 BERT，其全称为 Bidirectional Encoder Representations from Transformers（双向 Transformer 编码器表示）。与最近的语言表示模型（Peters 等，2018a；Radford 等，2018）不同，BERT 的设计目标是通过在所有层中同时结合左、右上下文，从未标注文本中预训练深度双向表示。

让气球上升：又是比赛时间！看到气球飘来飘去是多么激动啊。不过告诉你一个秘密，评委们最喜欢的时间就是猜最热门的问题了。比赛结束后，他们将计算每种颜色的气球并找出结果。今年，他们决定把这份可爱的工作留给你。