原创文章，不支持转载注意力机制本身没有任何语序信息，如果在输入时不人为加入位置信息，Attention 机制在处理序列时是置换不变的。这意味着，你把输入序列的词序任意打乱，模型计算出来的注意力权重和输出的向量结果完全是一模一样的。位置编码就是为了把顺序信息注入进去外推能力（Extrapolation Capability） 是指模型在处理比训练时更长的序列时，依然能够保持性能稳定、不崩溃且能正确理