注意力残差结合了残差连接与注意力机制，是Transformer架构的核心技术。残差连接通过输入与输出的直接相加（y=F(x)+x）解决梯度消失问题，而注意力机制则动态关注输入的不同部分。在Transformer中，注意力残差结构（如LayerNorm(x+Attention(x))）能稳定训练、融合信息并加速收敛。这一设计已成为GPT、Llama等大模型的基础，通过保留原始输入特征并学习增量变化，