本文系统解析了视觉语言多模态大模型（VLLM）的技术架构与实现原理。首先指出语言模型无法直接处理图像数据这一核心挑战，进而详细拆解了解决方案：通过ViT将图像切分为patch token，利用CLIP实现视觉语义编码，再经过Projector将视觉特征映射至语言模型空间。文章深入分析了LLaVA等典型模型的双阶段训练策略（视觉语言预对齐+多模态指令微调），并探讨了Q-Former等视觉token压