摘要 本文系统介绍了自然语言处理（NLP）中Transformer模型的演进过程。首先指出文本处理的特殊性在于顺序和上下文关系，早期采用RNN（循环神经网络）按顺序处理文本但存在训练慢、长距离依赖困难等问题。LSTM（长短期记忆网络）通过记忆控制机制改进RNN，但仍无法解决串行处理的根本限制。Transformer革命性地采用自注意力机制（Self-Attention），使每个词能直接关注全句相关