自注意力机制是Transformer的核心，解决了传统序列模型长距离依赖、无法并行的痛点；而BERT依托双向Transformer编码器+MLM预训练任务，实现了通用语言表征学习。预训练+微调的范式，让开发者无需从零训练模型，仅需微调即可在小样本下游任务取得极佳效果，这也是BERT成为NLP工业界、学术界通用 baseline 的根本原因。