Transformer是一种著名的深度学习模型，已在自然语言处理（NLP）、计算机视觉（CV）和语音处理等多个领域得到广泛应用。Transformer 最初被提出作为一种序列到序列模型用于机器翻译。后来的研究表明，基于 Transformer 的预训练模型（PTMs） 可以在各种任务上实现最先进的性能。因此，Transformer 已成为 NLP 尤其是 PTMs 的首选架构。