此前的Seq2Seq模型通过Attention机制取得了一定提升，但由于整体结构仍依赖RNN，依然存在计算效率低、难以建模长距离依赖等结构性限制。Transformer完全摒弃了RNN结构，转而使用注意力机制直接建模序列中各位置之间的关系。与基于RNN的Seq2Seq模型一样，Transformer的解码器采用自回归方式生成目标序列。不同之处在于，每一步的输入是此前已生成的全部词，模型会输出一个与

NLP初识

人工智能 Python基础

过由数字、字母、下划线组成，不能以数字开头，不能使用内置关键字，严格区分大小写。