一、基本概念与架构本质

Encoder-Decoder PLM 是结合了编码器（Encoder）和解码器（Decoder）结构的预训练语言模型，其核心设计理念是通过双向编码能力理解输入文本，同时通过自回归解码能力生成目标文本。这类模型打破了纯编码器（如BERT）或纯解码器（如GPT）的单一功能限制，在自然语言处理的序列到序列（Seq2Seq）任务中表现突出。

二、架构核心组件与工作原理

（1）编码器（Encoder）：双向语义理解

• 功能：将输入文本转换为包含全局语义的上下文表示，支持双向注意力机制（同时关注输入序列的前后信息）。
• 技术细节：
  • 采用多层Transformer编码器块，每层包含自注意力（Self-Attention）和前馈神经网络。
  • 典型案例：BERT的编码器结构可视为Encoder-Decoder模型的编码器部分。

（2）解码器（Decoder）：自回归生成

• 功能：基于编码器的上下文表示，通过自回归方式逐 token 生成输出序列，仅允许关注当前位置及之前的信息。
• 技术细节：
  • 除自注意力外，解码器还包含交叉注意力（Cross-Attention），用于关联编码器的输出。
  • 生成逻辑：每次生成下一个 token 时，依赖已生成的历史 token 和编码器的全局表示。

（3）预训练目标：融合双向理解与生成能力

• 掩码语言模型（MLM）：随机掩码输入文本中的部分 token，让模型根据上下文预测掩码词（编码器能力训练）。
• 序列到序列目标（Seq2Seq Loss）：将文本重构为完整序列，或通过降噪自编码器（如删除、替换、打乱文本）训练生成能力（解码器能力训练）。
• 典型示例：BART模型通过破坏输入文本（如掩码、删除句子）并让模型还原，同时优化MLM和Seq2Seq损失。

三、经典Encoder-Decoder PLM模型

四、核心应用场景

1. 文本生成任务

   • 机器翻译：将一种语言的文本转换为另一种语言（如NLLB模型基于Encoder-Decoder实现大规模多语言翻译）。
   • 文本摘要：压缩长文本为关键信息（如BART在新闻摘要任务中的应用）。
   • 对话系统：根据用户输入生成回复（如Google的LaMDA模型采用Encoder-Decoder架构）。

2. 自然语言理解与生成结合任务

   • 问答系统：基于上下文生成答案（如T5在SQuAD数据集上的微调）。
   • 文本改写：保持语义不变的前提下转换句式（如将主动句改为被动句）。

3. 跨模态任务

   • 图文生成：结合图像编码器与文本解码器（如BLIP-2模型通过Encoder-Decoder生成图像描述）。

五、与纯Encoder/Decoder模型的对比

六、技术挑战与发展趋势

• 挑战：

  • 训练复杂度高：Encoder-Decoder结构参数更多，需更大计算资源（如T5-11B模型参数量达110亿）。
  • 生成可控性：难以精确控制生成文本的风格、长度等属性。

• 趋势：

  • 多模态融合：与视觉、语音编码器结合，构建跨模态Encoder-Decoder模型（如Flan-T5-XL支持图文理解与生成）。
  • 高效训练技术：通过稀疏注意力（如Longformer）或参数高效微调（PEFT）降低计算成本。
  • 任务泛化：通过提示工程（Prompt Engineering）让模型适配更多下游任务（如T5使用统一的"文本到文本"框架）。

七、总结

Encoder-Decoder PLM通过融合双向编码与自回归解码能力，成为连接自然语言理解与生成的桥梁，在机器翻译、文本摘要等Seq2Seq任务中占据核心地位。随着多模态技术和高效训练方法的发展，这类模型正逐步向更通用的人工智能系统演进。