注：此文章内容均节选自充电了么创始人，CEO兼CTO陈敬雷老师的新书《GPT多模态大模型与AI Agent智能体》（跟我一起学人工智能）【陈敬雷编著】【清华大学出版社】

清华《GPT多模态大模型与AI Agent智能体》书籍配套视频课程【陈敬雷】

GPT多模态大模型与AI Agent智能体系列一百六十九

开源必看！MoE-LLaVA多模态大模型：参数量省了、计算成本低了，视觉理解还更强了

7.5.4 MoE-LLaVA
MoE-LLaVA是由北京大学袁粒老师的课题组开源的，该模型具有更少的参数量，但在视觉理解能力方面表现强大。MoE-LLaVA是一种基于专家混合概念的大型视觉-语言模型（Large Vision-Language Model，LVLM）架构。它的设计目标是通过在模型中引入多个专家（Experts），并通过路由器（Router）动态地将输入数据分配给这些专家，从而实现模型的稀疏性，降低计算成本。MoE-LLaVA开源地址是https://github.com/PKU-YuanGroup/MoE-LLaVA，和LLaVA开源地址不一样。
1.模型架构
MoE-LLaVA架构巧妙地结合专家混合策略，通过引入多个“专家”模块以及动态数据路由机制，达到模型的稀疏化运行，从而大幅度降低计算资源的消耗。MoE-LLaVA-1.8B×4版本，在与同类开源模型的对比中，特别是在对象幻觉基准上的表现，凸显了其在参数激活效率与性能之间的出色平衡。MoE-LLaVA的创新之处在于其深度整合的组件设计，每一部分都精心构思以促进高效的多模态学习：
（1）视觉编码器（Vision Encoder）：作为模型的门户，视觉编码器负责将原始图像数据转化成一系列视觉令牌。这些令牌浓缩了图像的关键特征，诸如形状、色彩及纹理，通过卷积神经网络或Transformer架构，高效地抽取图像的深层语义。
（2）视觉投影层（Visual Projection Layer）：紧随视觉编码器之后，视觉投影层扮演着桥梁角色，将视觉令牌映射至与语言模型兼容的高维空间，确保视觉信息与文本信息在同一平台上的无缝对接，为后续的融合处理奠定基础。
（3）词嵌入层（Word Embedding Layer）：针对文本输入，词嵌入层将词汇序列转换为词向量，这些向量不仅捕捉了词汇的语义特性，还与视觉令牌在统一的表示空间中交织，赋予模型理解与生成自然语言的能力。
（4）多层LLM块（Multi-layer LLM Blocks）：作为模型的核心，多层LLM块依托于大型语言模型的框架，融合文本与视觉数据。这些模块配备多头自注意力机制和前馈神经网络，擅长处理复杂的模式和长距离依赖，确保信息的深度理解与有效表达。
（5）MoE块（MoE Blocks）：MoE-LLaVA的创新亮点，MoE块集合了多个专家模块，每个专家都是独立的前馈神经网络，专门解决特定子任务。通过路由器机制，模型能够动态选择最适合当前输入的专家，实现计算资源的按需分配，确保了模型在保持大规模参数的同时，仍能以稀疏方式运行，极大地提升了模型的效率与灵活性。
MoE-LLaVA架构的提出，不仅解决了现有视觉语言模型在计算效率上的瓶颈，而且为多模态数据处理开辟了新路径。通过其独特的专家混合机制与精妙的组件设计，MoE-LLaVA成功地在维持高性能的同时，降低了计算成本，为视觉语言模型的发展提供了有力支撑。
2.分阶段训练策略
MoE-Tuning是一种专为MoE-LLaVA设计的训练策略，它通过三个精心编排的阶段，引导模型渐进式地掌握多模态数据处理能力，最终实现高效学习与推理。此策略不仅确保了模型对复杂数据集的有效适应，还促进了资源的合理分配，提升了整体性能。
1）第一阶段：多层感知器训练与视觉输入适应
在MoE-Tuning的起始阶段，训练重点落在多层感知器上，目标是让大模型能够理解和处理图像数据。多层感知器作为连接视觉编码器与大模型的桥梁，负责将视觉令牌转化为大模型可识别的形式，使模型能够解析图像中的关键特征并与文本处理能力协同工作。
2）第二阶段：大模型参数深化与多模态融合
完成视觉输入的基础适应后，训练进入第二阶段，此时大模型的后端成为焦点。在这一阶段，模型通过多模态指令数据进行微调，旨在增强对图像和文本数据的综合理解能力。这一过程让模型不仅能够解读图像内容，还能关联相关文本描述，显著提升多模态数据处理的准确度与流畅度。
3）第三阶段：MoE层启动与专家训练
最后阶段聚焦于MoE层的训练，通过复制前馈网络（Feedforward Network，FFN）的权重初始化MoE层中的专家。MoE层由多个独立的小型神经网络构成，各自负责处理数据的不同部分。通过训练，模型学会通过路由器动态分配数据至最佳匹配的专家，实现了计算资源的高效利用与优化，保证了在保持模型参数规模的同时，仅激活与任务最相关的专家，从而实现计算的稀疏性和灵活性。
通过MoE-Tuning策略的实施，MoE-LLaVA模型得以在保持高性能的同时，实现计算资源的高效利用，展现出与更大、更密集模型相当甚至超越的性能水平，尤其在处理多模态任务时表现突出，为视觉语言处理领域树立了新的标杆。

更多技术内容

更多技术内容可参见
清华《GPT多模态大模型与AI Agent智能体》书籍配套视频【陈敬雷】。
更多的技术交流和探讨也欢迎加我个人微信chenjinglei66。

总结

此文章有对应的配套新书教材和视频：

【配套新书教材】
《GPT多模态大模型与AI Agent智能体》（跟我一起学人工智能）【陈敬雷编著】【清华大学出版社】
新书特色：《GPT多模态大模型与AI Agent智能体》（跟我一起学人工智能）是一本2025年清华大学出版社出版的图书，作者是陈敬雷，本书深入探讨了GPT多模态大模型与AI Agent智能体的技术原理及其在企业中的应用落地。
全书共8章，从大模型技术原理切入，逐步深入大模型训练及微调，还介绍了众多国内外主流大模型。LangChain技术、RAG检索增强生成、多模态大模型等均有深入讲解。对AI Agent智能体，从定义、原理到主流框架也都进行了深入讲解。在企业应用落地方面，本书提供了丰富的案例分析，如基于大模型的对话式推荐系统、多模态搜索、NL2SQL数据即席查询、智能客服对话机器人、多模态数字人，以及多模态具身智能等。这些案例不仅展示了大模型技术的实际应用，也为读者提供了宝贵的实践经验。
本书适合对大模型、多模态技术及AI Agent感兴趣的读者阅读，也特别适合作为高等院校本科生和研究生的教材或参考书。书中内容丰富、系统，既有理论知识的深入讲解，也有大量的实践案例和代码示例，能够帮助学生在掌握理论知识的同时，培养实际操作能力和解决问题的能力。通过阅读本书，读者将能够更好地理解大模型技术的前沿发展，并将其应用于实际工作中，推动人工智能技术的进步和创新。

【配套视频】

清华《GPT多模态大模型与AI Agent智能体》书籍配套视频【陈敬雷】
视频特色： 前沿技术深度解析，把握行业脉搏

实战驱动，掌握大模型开发全流程

智能涌现与 AGI 前瞻，抢占技术高地

上一篇：《GPT多模态大模型与AI Agent智能体》系列一》大模型技术原理 - 大模型技术的起源、思想
下一篇：DeepSeek大模型技术系列五》DeepSeek大模型基础设施全解析：支撑万亿参数模型的幕后英雄