简介

MoIIE是一种新型大型视觉语言模型架构，通过三个专家组（两个模态内专家和一个模态间专家）分别处理特定模态特征和跨模态关联。研究团队提出的两阶段训练策略有效激活MoE和多模态能力。实验表明，MoIIE在多种多模态任务中表现优异，性能提升的同时激活参数量减少约17%，展现出优秀的扩展性，为构建高效多模态大模型提供了新思路。

---

大型视觉语言模型（LVLMs）通过将视觉编码器与大型语言模型（LLMs）结合，展现出强大的多模态理解能力。但随着模型规模增大，计算成本急剧上升，尤其是基于密集Transformer架构的模型。虽然混合专家模型（MoE）可以提高参数效率，但难以将其同时有效应用于LVLM特定模态特征和跨模态关联的建模中。

为此，上海创智学院联合华为、复旦大学等研究团队提出了模态内-模态间混合专家模型（MoIIE），以同时捕获LVLM中的特定模态特征和跨模态关联。此外，研究团队提出了一个简单有效的两阶段训练策略，有助于直接激活MoE和多模态能力。

• 论文标题：

  MoIIE: Mixture of Intra- and Inter-Modality Experts for Large Vision Language Models

• 论文链接：

  https://arxiv.org/pdf/2508.09779

• 项目地址：

  https://github.com/AlenjandroWang/MoIIE.

一、方法

MoIIE包含三个不同的专家组，其中两个模态内专家组分别专注于处理语言和视觉模态，独立处理文本和图像token；一个模态间专家组由双模态共享，专注于文本与图像token之间的跨模态交互。与传统MoE训练不同，研究团队提出了一种更简单有效的两阶段训练策略，可以通过更新所有参数来实现多模态微调和稀疏化的联合优化。

1.MoIIE架构

（1）多模态输入表示

将来自不同模态的输入处理为与LLM兼容的序列化嵌入。具体而言，给定一个RGB图像，使用一个预训练的视觉编码器和一个基于MLP的连接模块来提取图像特征，并将其投影到LLM的嵌入空间中，从而得到图像token的序列表示，其中MLP模块确保了与LLM嵌入空间的维度对齐，以实现无缝集成；对于文本输入，对其进行token化并嵌入，以获得文本嵌入序列；最终的多模态输入表示通过拼接视觉和文本嵌入得到，随后将其输入到LLM中进行多模态信息的联合处理。

（2）稀疏MoIIE的前向过程

专家模块包括模态内专家组和模态间专家组，其形式化定义为：

为平衡模态特异性和共享表征，设立了以下专家分配约束：

这种约束确保了模态内专家与模态间专家的数量相等，同时保持对各模态专家的均衡分配。

token路由机制由模态特定的路由器控制，其中包括一个视觉路由器和一个文本路由器。这些路由器根据预测的激活概率，将每个输入token动态分配给其最相关的Top-K专家。

稀疏MoIIE的前向计算公式为：

其中，每个token由其Top-K个被激活的专家进行处理，它们的输出通过概率加权求和进行聚合。

该路由机制实现了灵活的专家选择模式,每个token可以仅激活模态内专家、仅激活模态间专家，或者同时激活两类专家。这种分层路由策略确保了高效的多模态学习，同时兼顾了对模态特异性特征和跨模态关联的建模。

2.训练策略

为了平衡简单性和有效性，提出了一个两阶段的训练策略，有效地激活了MoIIE架构的能力。

• 第一阶段：预训练连接模块，对齐视觉表示与 LLM 语言嵌入空间，实现跨模态输入的一致处理。
• 第二阶段：使用来自基础LLM的预训练FFNs初始化模态内和模态间专家，并使用不同的视觉指令数据集微调整个模型。在此阶段，训练目标包括捕获模态特定特征和跨模态关联的多模态专家学习，以及优化通用多模态理解和指令遵循能力。

为在保障专家间负载均衡的同时优化整体多模态理解，训练损失由语言建模交叉熵损失和专家负载均衡辅助损失组成。

二、评估

在实验阶段，研究团队使用预训练的SigLIP模型作为视觉编码器，使用双层MLP作为连接模块，并使用phi-3-mini和LLaMA3-8b作为LLM主干网络。此外，均使用4专家配置，在13种不同的多模式基准上进行了全面的评估。

实验结果显示：

• MoIIE模块在具有不同数据规模和LLM主干大小的基准测试中始终优于所有其他架构变体，这表明集成特定于模态的特性和跨模态关联可以有效地提高各种多模态任务的性能。
• MoIIE在基于知识的QA和幻觉基准测试中表现尤为突出，这些测试需要在文本概念和相应的视觉实体区域之间进行复杂的跨模式交互。表现了MollE在需要跨模态推理的任务上表现更具优势。
• 数据规模增大时，MoIIE性能持续提升，显示出优秀的扩展性。对于更大的训练数据集，MoIIE始终优于其它方法。表明MoIIE框架为多模态学习提供了优越的缩放特性，有效地利用更大的数据集来增强表示能力。

研究团队进一步与现有的开源LVLMs进行了比较，以证明MoIIE的有效性。实验结果显示，基于MoIIE的模型性能在不同的基准测试中实现了与其相当甚至更优的性能，同时激活参数量减少约 17%，降低了总体参数量与部署成本。而且该方法允许从任何LLM主干构建基于MoE的LVLM，在不牺牲性能的情况下支持更灵活的专家设置。

此外，研究团队对比了传统的三阶段训练策略，实验结果显示，在相同的训练设置下，提出的两阶段训练方法始终优于之前的三阶段训练策略，这表明了该方法更简单，也更有效。

最后，研究团队进行了消融研究，实验结果显示：

• 增加专家的数量有助于提升性能。从4个专家扩展到8个专家，模型性能进一步提高；
• 保持模态内和模态间专家的平衡分配有利于提高性能。平衡配置始终优于不平衡配置，表明了保持模态内和模态间专家的均匀分布可以产生更有效的跨模态交互和整体性能；
• MoIIE模块交错配置优于全替换配置，在效率与性能间取得更好平衡。交错插入 MoIIE 层可在保持较高训练效率和较低资源消耗的同时，达到与全替换相当的性能，是效率与性能间的更优权衡；
• 负载均衡系数不宜过大，否则会导致整体性能的明显下降。

三、AI大模型学习和面试资源

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习和面试资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓