本项目从0开始训练了一个MMMU分数超过llava-1.5的qllava模型，和llava相比差别在于LLM变成了qwen2。

建议用简洁连贯的自然语言写明 主体 + 行为 + 环境，若对画面美学有要求，可用自然语言或短语补充 风格、色彩、光影、构图 等美学元素。示例：一个穿着华丽服装的女孩，撑着遮阳伞走在林荫道上，莫奈油画风格。避免：一个女孩，撑伞，林荫街道，油画般的细腻笔触。

多模态大模型(multi modality llm)，罗列当前的主流多模态大模型(vision-language model)，总结当前多模态大模型的训练范式: 训练数据集、预训练任务、多模态大模型架构(融合等方面)、相关的多模态大模型。MM-LLMs 的一般模型架构及每个组件的实现选择多模态模型架构分类。概述了四种不同类型的多模态架构及其子类型。各种模型被系统地归类到类型和子类型中。

3、https://www.deepspeed.ai/https://github.com/microsoft/DeepSpeedhttps://www.deepspeed.ai/getting-started/官网。2、显卡之间通信，涉及到参数传递的，会让显卡组成虚拟环，环内每个显卡的每个维度都依次给下一个显卡发送数据，直到每个显卡的参数都一样位置，这期间的经历称为scatter-reduce和

Scaling Laws的核心概念是：随着模型规模、数据集规模和训练所需的计算量（浮点运算数，Flops）的增加，模型的性能会提升。为了获得最佳的模型表现，必须同时增加这三者。当其他因素不受限制时，模型性能与每个单独的因素之间存在幂律关系。为了训练一个模型并期望得到较低的损失，我们通过Scaling Law来计算所需的计算量C，达到该计算量后，再定义模型参数，从而推算出所需的训练数据量。假设模型的

是百度飞桨团队于 2025 年 10 月开源的轻量化多模态文档解析模型，仅用 0.9 B 参数就在国际权威评测 OmniDocBench V1.5 上以 92.6 分登顶全球第一，超越 GPT-4o 等 70 B+ 级大模型。采用 NaViT 动态高分辨率视觉编码器 + 轻量级 ERNIE-4.5-0.3B 语言模型，兼顾高精度与高效率，在文档元素识别任务中表现卓越，同时显著降低计算资源消耗，适合

而 OpenAI Agent SDK 可以让开发者定义多个领域的 Agent，并且给这些 Agent 配置一些转交关系，允许某个 Agent 把特定的任务交给另外一个合适领域的 Agent 来执行，多个 Agent 之间协同和互动来完成一个复杂任务。实际上上文提到的 Function Call 模型的工作流程图，已经算是一个 Agent 的雏形了，不同点是，Agent 完成一次任务，实际上会循环调

前面的是SFT-then-RLHF的范式，CHORD则是融合了SFT和RLHF，把SFT和在线GRPO的loss加权decay，同时使用和DFT类似的token级别的权重控制方法Importance Sampling，对于模型输出的prob的token和prob低的token，都赋予低的权重（prob高的已经学会了，继续高权重容易导致过拟合entropy collapse；效果上，用8b模型蒸馏q

推理扩展定律表明，延长模型的推理时间可以显著提升其性能。模型通过更长时间的思考和自我修正，能够生成更准确的答案。然而，这种提升需要根据任务类型进行权衡。1.MC方法高方差：由于依赖完整的Episode回报，更新值可能受到随机因素的较大影响。无偏性：直接使用实际累积回报进行更新，确保了长期的准确性。2.TD方法低方差：利用每一步的即时奖励进行更新，减少了因随机性导致的波动。高偏差：依赖当前估计值进行

路径在./finetuning/work_dirs/sft下面。备注：不加main函数会报错！