【程序员必看】Transformer与MoE详解：大模型架构精要(建议收藏)

保证100%免费。

热爱python的小谢

1803人浏览 · 2025-11-17 15:00:00

热爱python的小谢 · 2025-11-17 15:00:00 发布

本文对比了Transformer和专家混合模型(MoE)两种大模型架构。Transformer使用密集计算，每个参数参与每个预测；MoE采用条件计算，仅激活部分专家参数。MoE允许在不大幅增加计算成本的情况下扩展模型容量，特别适合处理多领域数据。两种方法可以结合使用，以应对复杂任务。

1、理解 Transformer

在比较 Transformer 和 MoE 之前，我们需要理解 Transformer 到底是什么。

从高层次来看，Transformer 是一种神经网络架构，旨在处理文本、代码或音频等序列。它不会像 RNN 或 LSTM 那样一个接一个地处理词元（tokens）。相反，它会一次性查看整个序列，然后决定哪些词元彼此之间最重要。这种决策过程称为自注意力（self-attention）。

我知道这听起来可能令人困惑，所以可以这样简单地想象：将 Transformer 想象成一个黑盒子。你给它一个输入，它给你一个输出。例如，把它想象成一个机器翻译工具：你输入一个语言的句子，它输出另一个语言的翻译句子。

Transformer 的组成部分

Transformer 是如何将一个句子转换成另一个句子的呢？

它有两个重要的组成部分：编码器（encoding component）和解码器（decoding component），它们都负责转换。编码器是一个编码器堆栈，解码器是一个解码器堆栈，两者的数量相同。

编码器的作用

这些编码器在结构上都是相似的，每个编码器又分为两个子层：前馈神经网络（feed-forward neural network）和自注意力层（self-attention layer）。

在编码器中，输入词元首先经过自注意力层。这个层允许模型在处理给定词时，查看句子中的所有其他词，从而理解该词的上下文。自注意力的结果随后被传递给一个前馈网络（一个小的 MLP）。这个网络被应用于序列中的每个位置。

解码器的作用

解码器也使用了这两个部分，但它在两者之间增加了一个额外的注意力层。这个额外的层允许解码器像经典的 seq2seq 模型中的注意力机制一样，专注于编码器输出中最相关的部分。

2、什么时候用 Transformer？

当你需要捕获序列中的关系，并且你有足够的数据或一个强大的预训练模型时，Transformer 的效果最好。

当您的数据具有顺序和上下文，并且序列中不同部分之间的关系在长距离上很重要时，请使用 Transformer。

它们在文本任务（如聊天机器人、翻译、摘要和代码）中表现出色。它们对于时间序列、音频，甚至结合文本、图像或音频的视觉和多模态问题也非常有效。

在实践中，当您可以从预训练模型开始，或者有足够的数据和计算资源来训练一个有意义的模型时，Transformer 的表现最佳。对于非常小的表格数据集、微小的问题或有严格延迟限制的情况，更简单的模型通常更适合。但一旦涉及丰富序列或结构化数据，Transformer 几乎总是默认的选择。

3、理解专家混合模型（MoE）

专家混合模型（MoE）是一种流行的架构，它使用多个专家来改进现有的Transformer 模型，或者可以说提高大型语言模型（LLMs）的质量。MoE 主要由两个组件定义：

专家（Experts）： 每个前馈神经网络层被替换为一组专家，并且只有其中的一个子集会被用于处理任何给定的词元。这些专家通常是独立的前馈神经网络（FFNNs）。
路由器或门控网络（Router or gate network）： 它决定哪些词元被发送给哪些专家。它的作用就像一个看门人。

4、何时何地使用专家混合模型？

让我们将其分解为两个您真正关心的问题：

MoE 什么时候才值得使用？
在模型的哪个位置引入它才有意义？

你应该在以下情况使用 MoE：

您应该使用 MoE 的场景	解释
需要非常大的模型容量	MoE 允许在不大幅增加训练和推理计算成本的情况下，将模型参数量扩展到数万亿。
计算资源预算紧张	由于 MoE 在推理时只激活一小部分参数（条件计算），您可以用更少的计算成本运行一个巨大的模型。
处理多领域或多语言数据	不同的专家可以自然地学习处理特定类型的数据（例如，一个专家处理 Python 代码，另一个处理法语）。
需要快速推理速度	尽管模型很大，但因为只使用一小部分参数，推理速度可以比同等容量的密集模型快得多。

在模型/管线的哪个部分应该使用 MoE？

通常，MoE 结构会替换 Transformer 块中的 **前馈网络（Feed-Forward Network, FFN）**部分。

5、Transformer 与 MoE 的区别

它们主要在解码器块中有所不同。

Transformer 使用一个单一的前馈网络。
MoE 使用多个专家，这些专家是比 Transformer 中 FFNN 更小的 FFNNs。在推理过程中，只选择这些专家中的一个子集。这使得 MoE 的推理速度更快。

MoE 中的网络包含多个解码器层：

由于网络包含多个解码器层，文本在每个层都由不同的专家处理，甚至在单个层内，所选的专家也可以随词元而改变。问题是模型如何决定使用哪些专家。这由**路由器（Router）**处理。

路由器就像一个多类别分类器，它为所有专家生成 Softmax 分数。然后，模型根据这些分数选择 Top K 个专家。路由器与网络的其余部分一起训练，并随着时间的推移学习哪些专家最适合每个输入。

可以参考下表了解两者之间的更多差异：

特性	Transformer（密集模型）	专家混合模型 (MoE)
核心 FFNN 层	单一的、大型前馈网络。	多个独立的前馈网络（专家）。
计算类型	密集计算：所有参数都参与每个输入和预测。	条件计算：只有一小部分专家/参数参与每个输入。
模型容量	受计算预算限制。容量的增加与计算的增加成正比。	可以实现极高的容量（数万亿参数），而不成比例地增加计算成本。
训练成本	高（训练一个 1 万亿参数的模型需要极大的计算量）。	相对较低（计算量与一个更小的“稀疏”模型相似）。
推理速度	较慢（必须执行所有参数的计算）。	较快（只激活 Top K 专家）。
专长	简单、强大、易于部署。	擅长处理多模态、多任务或多领域的数据。