之前我们使用的是RNN（或者是其的单向或者双向变种LSTM/GRU等） 来作为编解码器。RNN模块每次只能够吃进一个输入token和前一次的隐藏状态 ，然后得到输出。它的时序结构使得这个模型能够得到长距离的依赖关系，但是 这也使得它不能够并行计算，模型效率十分低。有时我们还使用了CNN，虽然CNN能够并行计算，但是处理变长序列时不够灵活。为了克服以上问题，提出了Transform框架，该架构采用了