刚看到一份含金量很高的技术资料，MIT博士生Songlin Yang梳理了有望接替Transformer 的新模型架构，包括了最新的Mamba 2、DeltaNet 和 TTT /Titans 等等。结合这些资料，我做了一个大致的文字版梳理，供参考（不一定准确）。原始PPT地址见：

大家都知道，这轮AI狂潮的变革始于2017年Transformer架构的提出。这个架构最引人注目的特点是其注意力机制（Attention Mechanism ）—— 一种允许模型在处理每个输入时都能自由关注整个序列任何位置的计算方法。这种设计实现了前所未有的模型性能，但也面临着一大坨挑战：

1、首先是最著名的"二次方复杂度 “问题。如果把Transformer比作一个阅读助手，它在阅读每一个词时，都要回头看一遍之前读过的所有内容。这听起来很全面，但实际操作中的代价是惊人的：如果文章长度翻倍，处理时间就会增加四倍。这就像是一个学生在做阅读理解时，每读一个新句子都要把前面的内容完整过一遍 —— 读到文章末尾时，前面的内容已经被重复看了成百上千遍。这就是所谓的O(n²)时间复杂度。

2、第二个重要的局限是”KV cache “问题。KV cache可以理解为Transformer的"工作记忆”。为了加快推理速度，模型需要把处理过的每个词的Key（关键信息）和Value（具体内容）都存在内存里。这就像是一个学者在桌上摊开所有的参考资料 —— 阅读的内容越多，占用的桌面空间就越大，这就是所谓的O(n)空间复杂度。在处理长文档时，这种内存消耗会变得非常可观。

3、第三个限制是"注意力分散"问题。当序列很长时，注意力机制需要在所有历史信息中分配权重。这就像是强迫一个人在阅读时必须同时关注所有已读内容 —— 信息太多反而可能导致重要信息被稀释。这种全局注意力机制在处理长文档时并不总是必要的，有时反而会干扰模型抓住真正重要的信息。

4、第四个是"位置编码"的局限。Transformer需要额外的位置编码来理解词序，因为其注意力机制本身是无序的。这就像是在每个词上贴上标签告诉模型"这是第几个词"。这种方式在处理特别长的序列时会变得不太可靠，就像人类也很难精确记住一个很长故事中第3842个词是什么。

5、最后是"训练和推理不一致"的问题。Transformer在训练时可以并行处理整个序列，但在实际生成文本时只能一个词一个词地来。这种不一致可能导致模型在实际应用中的表现不如训练时那么理想。就像一个学生在考试训练时可以看到所有题目，但实际考试时必须一道题一道题地解决。

显然，原始Transformer不是AGI的终极答案，而这些局限性共同推动了新型架构的研究。逐渐形成了三条技术路线。

第一条是线性注意力 （Linear Attention）路线，以RetNet （Retention Network，一种通过保留机制实现高效序列处理的网络）、GLA（Gated Linear Attention，引入门控机制的线性注意力）和Lightning Attention （一种基于数据无关衰减的快速注意力机制）为代表。这些方法通过巧妙的数学变换将计算复杂度从二次方降到线性（O(n)），同时基本保留了原有的模型表现。

第二条路线转向了状态空间模型（State Space Model，一种通过状态转移来建模序列关系的方法）。其代表作S4 （Structured State Space Sequence Model）和Mamba在这个框架下引入了选择性状态更新机制。特别是Mamba的SSM（State Space Model）实现，通过选择性注意机制（Selective State Update）让模型能够智能地决定哪些信息需要被重点关注，哪些可以快速处理。

第三条路线以DeltaNet为代表，开创了基于在线学习（Online Learning，模型在接收新数据时实时更新的学习方式）的递归更新机制。它的核心是delta规则（Delta Rule，一种基于预测误差来更新模型参数的学习规则），让模型能够精确计算每个新信息对现有知识状态的影响。后来的Gated DeltaNet 通过引入门控机制（Gating Mechanism，一种控制信息流动的机制）进一步增强了模型的表达能力。

最新的技术突破中，TTT（Test-Time Training）引入了更复杂的非线性变换。它结合了层归一化（Layer Normalization，一种标准化网络激活值的技术）和多层感知机（Multi-layer Perceptron，一种能够学习非线性关系的神经网络结构）。在此基础上，Titans又引入了动量（Momentum，一种帮助优化算法克服局部最小值的技术）和权重衰减（Weight Decay，一种防止模型过拟合的正则化技术）等经典优化方法。

这些不同技术路线的融合产生了令人瞩目的成果。比如MiniMax团队 发现，将线性注意力和传统的softmax注意力（一种将注意力分数转换为概率分布的数学函数）以7:1的比例混合使用，能达到接近GPT-4的性能。这种混合架构（Hybrid Architecture）充分发挥了两种机制的优势：线性注意力提供了计算效率，而softmax注意力则在关键位置提供了更细致的信息处理能力。

在工程实现层面，这些模型都采用了chunk-wise并行计算（基于数据块的并行处理方式）。这种策略将长序列分割成固定大小的块，在块内使用高效的并行计算，而在块间保持必要的序列依赖关系。对于Gated DeltaNet，研究者们还引入了WY表示法（一种高效的矩阵计算方法）来优化块间的状态更新计算。

现代模型的训练策略也变得越来越精细。从简单的随机梯度下降（Stochastic Gradient Descent，基于随机采样数据计算梯度的优化算法），发展到了包含预热期（Warm-up Period，训练初期使用较小学习率的阶段）、学习率调度（Learning Rate Schedule，根据训练进展动态调整学习率的策略）等复杂训练方案。特别是在Titans中，研究者们证明了在新架构中重新引入这些经典优化技术的价值。

在实际应用中，这些模型展现出了各自的优势：DeltaNet族在联想记忆（Associative Recall，根据线索提取相关信息的能力）任务上表现出色；Mamba在长序列处理中展现出了优异的性能；而混合架构则在通用语言理解任务上取得了最佳平衡。这种差异性恰恰说明了不同架构的互补性，也暗示了未来模型设计的方向：不是寻找单一的完美解决方案，而是根据具体应用场景选择或组合最适合的技术。

这个领域正在经历从"规模优先"到"效率优先"的范式转移（Paradigm Shift）。新一代模型不再一味追求更大的参数量，而是致力于设计更智能的注意力机制、更高效的计算范式、更有效的优化策略。这些创新正在推动大语言模型向着更实用、更普及的方向发展，就像个人计算机的革命一样，通过不断的架构创新最终让强大的计算能力走入寻常百姓家。

这些技术进步的意义远远超出了提升计算效率这个表面目标。它们实际上反映了我们对人工智能本质的更深入理解：智能不仅仅来自于大规模的参数和计算，更来自于像人类大脑一样高效而灵活的信息处理机制。这个认识正在推动着整个领域向着更加智能化的方向发展。