【代码】关于transformer的注意力权重可视化。

在多模态大模型中，视觉编码器（如ViT、SigLIP）负责将图像转换为特征，而大语言模型（LLM）负责理解和生成文本。它们之间的高效“连接器”是技术核心，决定了信息如何传递与融合。下表概述了主流的连接方法及其特点。连接器类型核心思想代表模型关键优势适用场景​将视觉特征投影后与文本嵌入，作为LLM的输入架构，易于实现，无需修改LLM核心结构通用多模态任务，追求简洁架构​在LLM的Transforme

DPO（直接偏好优化）是一种用于根据人类偏好优化语言模型的方法，由Rafailov等人在2023年提出。它是RLHF（从人类反馈中强化学习）的一种替代方法，但更简单、更稳定。

PPO是一种策略梯度方法，由OpenAI在2017年提出。在更新策略时，不要让新策略偏离旧策略太远，这样训练更稳定。KL散度KLπold∣∣πnew∑aπolda∣slog⁡πolda∣sπnewa∣sKLπold​∣∣πnew​a∑​πold​a∣slogπnew​a∣sπold​a∣s​直观理解KL散度越大 → 新旧策略差异越大。

在多模态大模型中，视觉编码器（如ViT、SigLIP）负责将图像转换为特征，而大语言模型（LLM）负责理解和生成文本。它们之间的高效“连接器”是技术核心，决定了信息如何传递与融合。下表概述了主流的连接方法及其特点。连接器类型核心思想代表模型关键优势适用场景​将视觉特征投影后与文本嵌入，作为LLM的输入架构，易于实现，无需修改LLM核心结构通用多模态任务，追求简洁架构​在LLM的Transforme

模型数据规模数据特点BERT33亿词书籍+维基百科GPT-3300B tokens高质量网页+书籍LLaMA 11.4T tokens纯公开数据LLaMA 315T+ tokens多语言+代码Qwen 27T tokens中英双语优化DeepSeek-V314.8T tokens代码+数学增强。BERT变体：RoBERTa（去除NSP，更大batch）、ALBERT（参数共享）、DeBERTa（解

模型数据规模数据特点BERT33亿词书籍+维基百科GPT-3300B tokens高质量网页+书籍LLaMA 11.4T tokens纯公开数据LLaMA 315T+ tokens多语言+代码Qwen 27T tokens中英双语优化DeepSeek-V314.8T tokens代码+数学增强。BERT变体：RoBERTa（去除NSP，更大batch）、ALBERT（参数共享）、DeBERTa（解

GRPO是一种用于大语言模型对齐的强化学习算法,由DeepSeek团队提出。它是RLHF(Reinforcement Learning from Human Feedback)的一种高效变体。

DPO（直接偏好优化）是一种用于根据人类偏好优化语言模型的方法，由Rafailov等人在2023年提出。它是RLHF（从人类反馈中强化学习）的一种替代方法，但更简单、更稳定。

PPO是一种策略梯度方法，由OpenAI在2017年提出。在更新策略时，不要让新策略偏离旧策略太远，这样训练更稳定。KL散度KLπold∣∣πnew∑aπolda∣slog⁡πolda∣sπnewa∣sKLπold​∣∣πnew​a∑​πold​a∣slogπnew​a∣sπold​a∣s​直观理解KL散度越大 → 新旧策略差异越大。