注：此文章内容均节选自充电了么创始人，CEO兼CTO陈敬雷老师的新书《GPT多模态大模型与AI Agent智能体》（跟我一起学人工智能）【陈敬雷编著】【清华大学出版社】

清华《GPT多模态大模型与AI Agent智能体》书籍配套视频课程【陈敬雷】

GPT多模态大模型与AI Agent智能体系列一百八十六

揭秘 DeepSeek-V3：MLA 如何破解传统注意力 “内存炸弹”，大模型推理效率飙升！

3.1 DeepSeek V3 模型架构
在大语言模型的技术演进历程中，架构设计始终是提升模型性能与效率的关键所在。DeepSeek-V3作为DeepSeek系列的重要迭代，其模型架构凝聚了团队在算法优化与创新方面的卓越智慧，在追求高效推理与经济训练的道路上迈出了坚实步伐。
随着自然语言处理任务的复杂度不断攀升，对模型架构的要求也日益严苛。传统的模型架构在面对大规模数据和复杂任务时，往往在计算效率、内存利用和性能表现上遭遇瓶颈。DeepSeek-V3的出现，正是为了突破这些限制，为大语言模型的发展开辟新的方向。它以 Transformer框架为基石，这一被广泛应用且验证有效的架构，为DeepSeek-V3提供了强大的基础支撑。然而，DeepSeek-V3并不满足于现状，在此基础上进行了一系列具有开创性的改进与创新。
其中，MLA和DeepSeekMoE架构的应用，成为了DeepSeek-V3提升性能的两大核心支柱。MLA通过独特的低秩联合压缩机制，在推理过程中极大地减少了键值（KV）缓存，不仅提升了推理速度，还降低了内存占用，使得模型在处理大规模数据时能够更加高效地运行。而DeepSeekMoE架构，则通过引入更细粒度的专家划分和共享专家机制，实现了计算资源的优化利用，在保证模型精度的同时，显著降低了训练成本。
不仅如此，为了进一步提升模型性能，DeepSeek-V3还引入了无辅助损失的负载均衡策略和MTP训练目标。这些创新技术的融合，使得DeepSeek-V3在模型架构层面实现了质的飞跃，不仅在理论上展现出强大的优势，在实际应用中也表现卓越。接下来将深入探究DeepSeek-V3模型架构中这些关键组件的具体设计与工作原理，揭开其卓越性能背后的技术奥秘。
3.1.1基础架构
DeepSeek-V3的基本架构搭建于Transformer框架之上。在追求高效推理与经济高效训练的目标下，它沿用了在DeepSeek-V2中经充分验证的MLA和DeepSeekMoE架构。这两种架构的运用，为DeepSeek-V3在性能表现和成本控制方面奠定了坚实基础。
与DeepSeek-V2有所区别的是，DeepSeek-V3为DeepSeekMoE引入了无辅助损失的负载均衡策略。这一策略的创新之处在于，它有效缓解了在保障负载均衡过程中对模型性能产生的负面影响，进一步提升了模型整体的实用性。DeepSeek-V3的基本架构如图3-1所示。

图3-1 DeepSeek-V3基本架构
需要翻译的文本有：
Multi-Head Latent Attention (MLA)：多头潜在注意力（MLA）
Transformer Block：Transformer块
Feed-Forward Network：前馈神经网络
RMSNorm：均方根归一化
Multi-Head Attention：多头注意力
图3-1直观地展示了DeepSeek-V3的基本架构，在接下来的内容中将对MLA和 DeepSeekMoE的关键细节展开简要回顾，以便更深入地理解该模型的架构设计。
1.MLA
在人工智能大语言模型持续迭代发展的时代背景下，DeepSeek系列模型凭借其独特的技术架构崭露头角，其中MLA机制作为DeepSeek-V3的关键创新点，备受瞩目。这一机制对传统Transformer架构中的注意力机制进行了优化，在提升模型性能、降低计算成本方面发挥了关键作用。
1）传统注意力机制的困境
在探讨MLA之前，有必要回顾一下传统注意力机制。Transformer模型中的多头注意力（Multi-Head Attention，MHA）是其核心组件之一。MHA在处理输入序列时，会先通过线性变换将输入张量分别转换为查询（Query，Q）、键（Key，K）和值（Value，V）矩阵。然后，将这些矩阵分割成多个头进行并行处理，每个头独立计算注意力权重，执行缩放点积注意力运算。这一过程能够让模型同时关注输入的不同部分，从多个子空间提取特征。
然而，随着序列长度的增加，传统MHA的弊端逐渐显现。在实际应用中，键值（Key Value，KV）缓存大小会随着序列长度线性增长，这带来了显著的内存负担。同时，高计算成本也限制了模型在长序列处理时的效率，成为了模型性能提升的瓶颈。例如，在处理长篇文本时，模型需要耗费大量的时间和内存资源来计算和存储 KV缓存，导致处理速度变慢，难以满足实际应用的需求。
2）MLA多头潜在注意力机制的创新设计
为了解决传统MHA存在的问题，DeepSeek引入了MLA多头潜在注意力机制。该机制主要通过低秩联合压缩键值技术，对KV矩阵进行优化，从而达到减少内存消耗、提高推理效率的目的。
（1）低秩联合压缩键值：MLA将KV进行低秩联合压缩，把它们转化为一个潜在向量（Latent Vector，LV）。在这个过程中，借助特定的矩阵运算，会得到一个类似对原始键值信息高度浓缩的表示。这个压缩后的隐向量，不仅减少了所需的缓存容量，还降低了计算复杂度。可以说，它就像是把大量繁杂的信息进行了高效整合，让模型在处理信息时更加便捷，大大提升了处理效率。
（2）优化键值缓存：在推理阶段，传统MHA需要独立缓存键和值矩阵，这无疑增加了内存和计算开销。而MLA通过低秩矩阵分解技术，显著减小了存储的KV的维度。在生成过程中，MLA只需要缓存特定的向量，在保持与标准MHA性能相当的情况下，大幅降低了内存占用。这使得模型在实际运行时，能够更高效地利用内存资源，提升推理速度。比如在实时对话场景中，模型能够更快地处理用户输入，给出更及时的回复。
3）MLA的核心步骤解析
DeepSeek-V3采用的MLA架构在具体实现上有一系列严谨的步骤：
（1）键值压缩：对于给定的注意力输入，也就是每个注意力层中第t个令牌的输入信息，MLA首先会进行键值压缩操作。通过特定的运算，将高维的输入向量映射到低维的压缩空间，得到键值的压缩隐向量。接着，利用专门的矩阵分别对键和值进行处理，让它们能够更好地适应后续的计算。同时，为了让模型能够捕捉文本中令牌的位置信息，还会生成携带RoPE的解耦键。位置信息对于模型理解上下文至关重要，就像我们阅读文章时，字词的先后顺序会影响我们对文章的理解一样。最后，将处理后的键信息拼接起来，形成最终用于后续计算的键。
（2）查询压缩：MLA对注意力查询也进行低秩压缩处理。通过一系列运算，得到携带 RoPE的查询向量。这一系列操作有效地减少了训练过程中的激活内存，使得模型在训练时能够更加高效地运行，减少资源的浪费。
（3）生成最终注意力输出：将经过上述处理后的注意力查询、键和值相结合，经过特定的计算得到每个头的注意力输出。这些输出再经过进一步处理，最终得到模型的注意力输出结果。这个结果会被用于后续的任务，帮助模型更好地理解和处理输入的文本信息。
MLA多头潜在注意力机制通过创新的低秩联合压缩技术和优化的键值缓存策略，有效解决了传统注意力机制面临的高计算成本和高内存占用问题。这一机制为DeepSeek-V3在自然语言处理任务中的高效。

更多技术内容

更多技术内容可参见
清华《GPT多模态大模型与AI Agent智能体》书籍配套视频【陈敬雷】。
更多的技术交流和探讨也欢迎加我个人微信chenjinglei66。

总结

此文章有对应的配套新书教材和视频：

【配套新书教材】
《GPT多模态大模型与AI Agent智能体》（跟我一起学人工智能）【陈敬雷编著】【清华大学出版社】
新书特色：《GPT多模态大模型与AI Agent智能体》（跟我一起学人工智能）是一本2025年清华大学出版社出版的图书，作者是陈敬雷，本书深入探讨了GPT多模态大模型与AI Agent智能体的技术原理及其在企业中的应用落地。
全书共8章，从大模型技术原理切入，逐步深入大模型训练及微调，还介绍了众多国内外主流大模型。LangChain技术、RAG检索增强生成、多模态大模型等均有深入讲解。对AI Agent智能体，从定义、原理到主流框架也都进行了深入讲解。在企业应用落地方面，本书提供了丰富的案例分析，如基于大模型的对话式推荐系统、多模态搜索、NL2SQL数据即席查询、智能客服对话机器人、多模态数字人，以及多模态具身智能等。这些案例不仅展示了大模型技术的实际应用，也为读者提供了宝贵的实践经验。
本书适合对大模型、多模态技术及AI Agent感兴趣的读者阅读，也特别适合作为高等院校本科生和研究生的教材或参考书。书中内容丰富、系统，既有理论知识的深入讲解，也有大量的实践案例和代码示例，能够帮助学生在掌握理论知识的同时，培养实际操作能力和解决问题的能力。通过阅读本书，读者将能够更好地理解大模型技术的前沿发展，并将其应用于实际工作中，推动人工智能技术的进步和创新。

【配套视频】

清华《GPT多模态大模型与AI Agent智能体》书籍配套视频【陈敬雷】
视频特色： 前沿技术深度解析，把握行业脉搏

实战驱动，掌握大模型开发全流程

智能涌现与 AGI 前瞻，抢占技术高地

上一篇：《GPT多模态大模型与AI Agent智能体》系列一》大模型技术原理 - 大模型技术的起源、思想
下一篇：DeepSeek大模型技术系列五》DeepSeek大模型基础设施全解析：支撑万亿参数模型的幕后英雄