混合专家模型（MoE）是一种提升大语言模型性能的技术，通过多个子模型（专家）和路由机制动态选择最适合的专家处理输入。MoE用稀疏层替代传统密集层，仅激活部分参数，提升推理效率。路由机制通过softmax概率分配输入到专家，并引入负载均衡策略（如KeepTopK、容量限制）确保专家均衡训练。该技术也可应用于视觉模型，处理图像块时通过优先级评分优化资源分配。MoE在保持模型质量的同时显著降低计算开销，