跨模态交互是瓶颈，需避免全连接交叉计算： $$ \text{Efficiency} = \frac{\text{Task Accuracy}}{\text{FLOPs}} \propto \frac{1}{| \mathbf{V} \times \mathbf{L} |_F} $$ 其中 $\mathbf{V}$ 为视觉特征矩阵，$\mathbf{L}$ 为语言特征矩阵。通过分层优化和硬件协同设计