1）RNN的缺陷：RNN是串行计算的，必须处理完上一个词才能处理下一个词，无法并行的计算，导致训练速度慢。3）Self-attention（自注意力机制）：自注意力机制就是让模型在处理一个词的时候，自动的去“环顾四周”，看看周围的词和这个词本身的相关联程度，从而更好的理解语句。：文本中任意两个词之间的距离都是O（1），模型可以直接“看到”句子中相隔很远的两个词，彻底解决了长距离依赖的问题。同时，在