Transformers是一种基于注意力机制的深度学习模型架构，由谷歌团队在2017年首次提出。该模型架构在自然语言处理（NLP）领域取得了显著成就，并迅速扩展到计算机视觉、语音处理等其他领域。Transformers的核心在于其独特的编码器-解码器结构、多头注意力机制以及位置编码。它通过并行计算多个自注意力子层来捕捉输入序列中不同位置之间的依赖关系，从而有效地建模长距离依赖。位置编码的加入则解决