1. 项目概述：一个面向多模态任务的指令微调数据集

最近在跟进大模型多模态指令微调这个方向时，发现了一个挺有意思的数据集，叫 MARTI 。这个项目全称是 MARTI: Multi-modal Advanced Reasoning Through Instruction-tuning ，由清华大学的 C3I 实验室开源。简单来说，它不是一个模型，而是一个专门为训练多模态大语言模型（MLLM）而精心构建的高质量指令微调数据集。

为什么说它有意思？因为在当前这个阶段，大家普遍感觉，多模态大模型的“看”和“说”能力已经初见成效，比如能描述图片内容、回答一些基础问题。但当你要求它进行更深层次的推理，比如分析图表趋势、理解漫画的幽默点、或者根据多张图片讲一个逻辑连贯的故事时，很多模型就显得力不从心了。这背后的核心瓶颈，往往不在于模型架构本身，而在于训练数据。我们缺少那种能激发模型进行 复杂、多步、跨模态推理 的高质量指令-响应对。

MARTI 就是为了解决这个问题而生的。它不像有些数据集那样，只是简单地把图片和一段描述文本配对。MARTI 的核心思路是构建需要 高级认知能力 才能完成的任务，比如视觉推理、逻辑演绎、常识问答、创造性写作等，并为每个任务提供高质量的、由人类标注的指令和答案。它的目标很明确：用这个数据集微调后的 MLLM，应该更“聪明”，更能理解复杂指令背后的意图，并给出有理有据的回应。

如果你正在研究或尝试构建自己的多模态模型，尤其是在指令跟随和复杂推理能力上有更高要求，那么深入了解和使用 MARTI 数据集，可能会是一个关键的突破口。它提供的不只是数据，更是一种构建高质量多模态指令数据的思路和方法论。

2. 核心设计思路与数据构建剖析

2.1 瞄准“高级推理”的靶心

MARTI 的设计哲学非常清晰：不做大而全的“数据杂货铺”，而是做一个聚焦“高级推理”的“精品超市”。当前开源的多模态指令数据集，如 LLaVA-Instruct、ShareGPT4V 等，极大地推动了领域发展，但它们更多覆盖的是相对基础的感知和描述任务。MARTI 团队认为，要让模型实现“智能”的跃迁，必须攻克更复杂的认知任务。

他们将这些“高级推理”能力具体分解为以下几个维度：

  1. 深度视觉理解 ：超越物体识别，要求模型理解场景中的关系、情感、意图、甚至文化背景。例如，给出一张新闻图片，要求模型推断事件可能发生的地点、人物的社会关系或情绪状态。
  2. 多步逻辑推理 ：问题不能通过单次感知直接回答，需要结合视觉信息、常识和逻辑进行多步推导。例如，给出一张包含多个仪表读数的设备面板图，问“如果红色指示灯亮起且压力表读数超过 100，接下来应该采取什么应急措施？”
  3. 跨模态信息融合与生成 ：不仅要求理解图文，还要求基于此生成结构化的文本（如故事、诗歌、代码、数据分析报告）。例如，给出一组产品设计草图和市场调研图表，要求生成一份产品优势分析简报。
  4. 反事实与假设性思维 ：要求模型基于给定视觉内容，进行“如果…会怎样”的思考。例如，“假设这张历史照片中的人物做出了另一个选择，可能会对后续事件产生什么影响？”

这种聚焦策略使得 MARTI 与其它数据集形成了差异化互补。你可以用它来专门“打磨”模型的推理能力，再结合其他数据集的广覆盖，有望训练出能力更均衡的模型。

2.2 数据构建的“三重过滤”机制

为了保证数据质量，MARTI 采用了一套严谨的构建流程，我称之为“三重过滤”机制。这可能是整个项目中最值得借鉴的部分。

第一重：种子任务与指令设计。 研究人员首先设计了一套涵盖上述高级推理能力的“种子任务”模板。这些模板不是随意的，而是基于认知科学和教育学中关于问题复杂度的理论。例如，一个模板可能是“给定一张图表，请解释其趋势，并预测在某种假设条件下数据会如何变化”。然后，基于这些模板，利用强大的文本大模型（如 GPT-4）进行指令的多样化扩写，生成大量候选指令。这一步确保了任务的多样性和复杂性源头。

第二重：高质量视觉素材筛选。 数据并非随便从互联网抓取。MARTI 的图片/视频来源经过精心挑选，主要包括：

  • 学术图表与图解 ：来自教科书、论文、科普网站，天然包含复杂信息。
  • 艺术与设计作品 ：绘画、漫画、设计稿，富含象征意义和创造性元素。
  • 真实世界复杂场景 ：包含多人互动、复杂机械、活动现场等的照片。
  • 信息图与思维导图 ：本身就是为表达逻辑关系而生的视觉形式。 筛选标准是图片必须“有东西可挖”，能够支撑起一个需要多步推理的问题。

第三重：人工精标与交叉验证。 这是保证数据质量的最终防线。生成的指令-图片对会交由经过培训的专业标注人员进行回答。标注者不仅提供最终答案，还被要求 写出详细的思维链（Chain-of-Thought） 。例如，对于问题“这张办公室照片里，为什么那个员工看起来最忙碌？”，标注者会写下：“1. 图中五人，其中一人面前同时打开三台电脑屏幕；2. 他的桌面上堆叠的文件高度明显超过其他人；3. 他正在接听电话，而其他人或在打字或在阅读；4. 综合以上视觉线索，推断他可能正在处理多项紧急任务，因此显得最忙碌。” 这个思维链是黄金标准。之后，还会有另一批标注员对答案和思维链进行审核与修正。这种“生成-精标-校验”的流程，虽然成本高，但极大提升了数据的可靠性和教学价值。

注意 ：在实际使用类似方法构建自己的垂直领域数据集时，第二重和第三重是关键。素材的相关性和标注质量直接决定了模型上限。对于资源有限的团队，可以缩小领域范围，集中力量做好几百条高质量数据，其效果可能优于数万条噪声数据。

3. 数据集内容结构与核心任务类型详解

3.1 数据集的宏观结构

MARTI 数据集以标准的 JSON 格式组织，结构清晰，便于解析和使用。一个典型的数据样本包含以下核心字段：

{
  "id": "unique_sample_id",
  "image": "image_path_or_base64_encoded_string",
  "conversations": [
    {
      "from": "human",
      "value": "请详细分析这张图表，并说明如果我们将横坐标的数据范围扩大一倍，趋势线可能会发生什么变化？"
    },
    {
      "from": "gpt",
      "value": "这张图表展示了...当前趋势是...如果横坐标范围扩大一倍，考虑到数据的周期性特征，趋势线可能会...原因在于..."
    }
  ],
  "chain_of_thought": "1. 首先识别图表类型为折线图，横轴为时间，纵轴为销量...2. 观察到当前趋势为季度性波动上升...3. 已知数据周期约为一年，扩大横轴范围意味着展示更长时间跨度...4. 根据现有波动模式，推断更长时间线上可能会显示出更明显的长期上升趋势，同时周期性波峰和波谷会更加密集地呈现...",
  "task_type": "chart_reasoning",
  "difficulty": "hard",
  "source": "academic_textbook"
}
  • id : 样本唯一标识符。
  • image : 图像信息，可能是本地路径或经过 Base64 编码的字符串，方便不同加载方式。
  • conversations : 一个列表，包含多轮对话。通常就是一轮指令（human）和一轮模型回答（gpt）。这种格式与主流对话模型训练格式（如 LLaVA）兼容。
  • chain_of_thought : 这是 MARTI 的精华所在 ，包含了人类标注者推理的详细步骤。在训练时，这个字段可以作为一种“中间监督信号”，帮助模型学习推理过程，而不仅仅是背诵答案。
  • task_type 和 difficulty : 用于对任务进行分类和难度分级，便于研究者进行子集分析或课程学习（Curriculum Learning）。
  • source : 注明数据来源，有助于评估数据偏差和领域覆盖。

3.2 八大核心任务类型拆解

MARTI 将数据划分成了八大类任务，基本覆盖了高级多模态推理的主要场景。理解这些类型，有助于我们更有针对性地使用数据或设计自己的任务。

  1. 视觉问答（VQA） ：这不是简单的“图片里有什么”，而是需要深度理解的问答。例如，“基于这位演讲者的肢体语言和观众的表情，你认为他的演讲效果如何？”
  2. 图表推理（Chart Reasoning） ：涉及对柱状图、折线图、饼图、散点图等的解读、趋势分析、数据预测和假设推理。这是检验模型逻辑和数理能力的重要战场。
  3. 文档理解（Document Understanding） ：处理包含表格、表单、海报、杂志版面等复杂排版的图像。要求模型提取关键信息、理解布局逻辑、甚至回答基于文档结构的问题。
  4. 常识推理（Commonsense Reasoning） ：将视觉信息与日常生活常识结合。例如，“为什么这张照片里的人在下雨天撑着伞，却还穿着短袖？这合理吗？”
  5. 文本识别与推理（Text-based Reasoning） ：图片中包含大量文字（如路牌、书名、标语），问题需要结合OCR识别结果进行推理。例如，“这张街景照片中，相邻两家店铺的招牌分别是什么？根据店名，猜测它们可能的客户群体有什么联系？”
  6. 数学推理（Mathematical Reasoning） ：图片中包含数学公式、几何图形或应用题图示，要求模型进行数学计算或证明。
  7. 代码生成（Code Generation） ：根据流程图、架构图或UI设计图，生成相应的伪代码、数据结构或接口定义。
  8. 创造性写作（Creative Writing） ：基于图片或连环画，编写故事、诗歌、广告文案、社交媒体帖子等。这考验模型的想象力、语言风格化和叙事能力。

每一类任务下，又根据 difficulty 字段分为 easy, medium, hard 等级别。这种细粒度的标注，使得研究者可以尝试“课程学习”，即让模型从易到难逐步学习，可能获得更好的训练效果和泛化能力。

4. 如何使用 MARTI 进行模型微调：实战指南

4.1 环境准备与数据下载

假设你已经有了一个基础的多模态大模型（例如 LLaVA、Qwen-VL 或你自己组装的架构），并且搭建好了基本的深度学习环境（PyTorch, Transformers 库等）。使用 MARTI 的第一步是获取数据。

通常，项目会托管在 GitHub（如 TsinghuaC3I/MARTI）或 Hugging Face Datasets 上。以 Hugging Face 为例，加载数据非常方便：

from datasets import load_dataset

# 加载 MARTI 数据集
dataset = load_dataset("TsinghuaC3I/MARTI", trust_remote_code=True)

# 查看数据集结构
print(dataset)
# 通常会有 'train' 和 'validation' 分割

# 查看一个样本
sample = dataset['train'][0]
print(f"任务类型: {sample['task_type']}")
print(f"指令: {sample['conversations'][0]['value']}")
print(f"答案: {sample['conversations'][1]['value']}")
print(f"思维链: {sample['chain_of_thought']}")

如果从 GitHub 下载，可能需要手动处理数据格式，确保其与你训练代码的输入格式对齐。MARTI 提供的标准 JSON 格式通常很容易适配。

4.2 关键训练策略与参数配置

直接拿 MARTI 数据去微调模型可能不是最优解。这里有几个经过实践验证的关键策略：

策略一：两阶段混合训练。 不要一开始就用高难度的 MARTI 数据。建议采用两阶段法：

  • 阶段一（基础指令跟随） ：使用 LLaVA-Instruct 或 ShareGPT4V 这类通用指令数据，让模型先学会“看图说话”和遵循基本指令。训练 1-3 个 epoch，学习率可以稍高。
  • 阶段二（高级推理精调） ：在阶段一训练好的模型基础上，使用 MARTI 数据进行精调。此时可以降低学习率（例如为阶段一的 1/5 到 1/10），防止灾难性遗忘，并专注于提升推理能力。训练 1-2 个 epoch 即可。

策略二：利用思维链进行训练。 这是发挥 MARTI 最大价值的地方。你有两种利用 chain_of_thought 的方式：

  • 方式 A：作为答案的一部分 。将思维链和最终答案拼接起来，作为模型的训练目标。例如，训练时的目标文本是 [CoT] 因此，最终答案是... 。这样模型在生成时，也可能先输出推理步骤再给出答案，提高了可解释性。
  • 方式 B：作为额外的监督信号（更高级） 。在模型架构上做修改，设计一个额外的“推理头”，专门用于预测或生成思维链。主输出头依然生成最终答案。两个头共享视觉和语言编码器，但通过不同的损失函数进行联合训练。这种方式能更明确地引导模型建立推理路径。

策略三：课程学习（Curriculum Learning）。 利用数据中的 difficulty 标签。在训练时，先只用 easy 和 medium 难度的数据训练几个 epoch，然后再逐渐加入 hard 数据。这符合人类的学习规律，能让模型训练更稳定，最终在难题上表现更好。

核心训练参数参考（基于 LLaVA 框架） ：

  • 学习率 ：阶段二精调时，建议在 1e-5 到 5e-6 之间。
  • 批大小（Batch Size） ：根据 GPU 显存调整，确保能放下图像和长文本序列。通常 4-16 之间。
  • 训练轮数（Epoch） ：1-2 轮足够，MARTI 数据量虽精但不算海量，过多轮次容易过拟合。
  • 优化器 ：AdamW 是标准选择。
  • 学习率调度 ：带热身的线性衰减或余弦衰减。
  • 训练目标 ：通常只训练语言模型部分（LLM），而冻结视觉编码器（如 CLIP-ViT），以节省显存并防止视觉特征被带偏。如果你的计算资源充足，也可以对视觉编码器进行轻量微调（如 LoRA）。

4.3 数据处理与输入格式适配

不同的多模态模型框架有不同的数据加载器。你需要将 MARTI 的 JSON 格式转换成你所用框架要求的格式。以 LLaVA 为例，它通常要求一个 list[dict] 的格式，每个 dict 包含 image （文件路径）、 conversations （对话列表）等键。

一个简单的转换脚本可能如下：

import json
import base64
from PIL import Image
import io

def convert_marti_to_llava_format(marti_sample, image_folder):
    """
    将 MARTI 样本转换为 LLaVA 训练格式。
    marti_sample: 单个 MARTI 数据样本（字典）。
    image_folder: 图片存储的根目录。
    """
    # 假设 MARTI 中的 image 字段是 base64 字符串
    image_data = base64.b64decode(marti_sample['image'])
    image = Image.open(io.BytesIO(image_data))
    
    # 或者，如果 image 字段是路径，则直接读取
    # image_path = os.path.join(image_folder, marti_sample['image'])
    # image = Image.open(image_path)
    
    # 保存图片到临时路径或指定路径，获取最终用于训练的图片路径
    # 这里简化为使用原路径或生成新路径
    final_image_path = ... # 你的图片保存逻辑
    
    # 构建 conversations。MARTI 的 conversations 格式与 LLaVA 基本兼容。
    # 但 LLaVA 可能要求指定角色为 'user' 和 'assistant'，而非 'human'/'gpt'。
    converted_conversations = []
    for turn in marti_sample['conversations']:
        role = 'user' if turn['from'] == 'human' else 'assistant'
        converted_conversations.append({'from': role, 'value': turn['value']})
    
    # 如果你想利用思维链，可以将其拼接到 assistant 的回答中
    if 'chain_of_thought' in marti_sample and marti_sample['chain_of_thought']:
        # 通常拼接到最后一个 assistant 回复的开头
        cot = marti_sample['chain_of_thought']
        final_answer = converted_conversations[-1]['value']
        # 一种简单的拼接方式
        converted_conversations[-1]['value'] = f"{cot}\n\n基于以上推理，{final_answer}"
    
    llava_sample = {
        'id': marti_sample['id'],
        'image': final_image_path, # 训练时实际读取的路径
        'conversations': converted_conversations
    }
    return llava_sample

实操心得 ：在处理图像时，要特别注意与原始模型预训练时的图像预处理方式保持一致（如 resize 尺寸、归一化均值方差）。直接使用 MARTI 的 base64 数据流可以避免文件 I/O 瓶颈，但需要确保你的数据加载管道支持。对于大规模训练，建议预先将图片解码并保存为 .jpg/.png 文件，并建立索引，以提高数据加载速度。

5. 效果评估与结果分析视角

5.1 如何评估微调后的模型

使用了 MARTI 微调后，如何知道模型真的变“聪明”了？不能只看它在训练数据上的表现，更需要一套综合的评估体系。

1. 内部测试集评估： MARTI 数据集本身应该提供了验证集（validation set）。这是最直接的评估方式。你可以计算模型在验证集上的标准指标，如：

  • 答案准确性 ：对于有明确答案的任务（如 VQA、图表推理），使用精确匹配（Exact Match）或归一化后的相似度（如 BLEU, ROUGE）来评估最终答案的正确性。
  • 思维链质量评估（如果模型输出 CoT） ：这更具挑战性。可以使用 GPT-4 作为裁判，让它对比模型生成的思维链和人工标注的思维链，在逻辑连贯性、步骤完整性和推理正确性上打分。也可以使用一些基于规则的度量，比如检查思维链中是否包含了关键推理步骤的实体。

2. 外部基准测试： 为了检验泛化能力，必须在其他公开的多模态基准测试上进行评估。常用的包括：

  • MMBench ：一个全面的多模态模型评测基准，涵盖感知、推理、知识等多个维度。
  • ScienceQA ：包含大量需要科学知识和多步推理的图文问答。
  • ChartQA 或 PlotQA ：专门针对图表理解的基准。
  • TextVQA 或 DocVQA ：针对图像中文本理解和推理的基准。 比较微调前后模型在这些基准上的分数提升，能更有力地证明 MARTI 数据的有效性。

3. 人工定性分析： 自动指标有时会失灵。准备一组“挑战性”样例（例如，复杂的讽刺漫画、蕴含物理原理的示意图、需要跨文化常识理解的图片），让模型生成回答，并由人类专家进行评判。关注点包括：

  • 推理深度 ：答案是否浮于表面，还是揭示了深层联系？
  • 逻辑严谨性 ：推理步骤是否合理，有无跳跃或矛盾？
  • 创造性 ：在创造性写作任务中，输出是否新颖、连贯、符合语境？

5.2 典型结果与局限性分析

根据 MARTI 项目论文和相关研究，使用其数据微调后的模型，通常在需要多步推理、常识应用和复杂指令理解的任务上，表现出显著优于仅用基础指令数据微调的模型。例如，在需要结合图表数据和外部知识进行预测的任务上，准确率可能有 10% 以上的绝对提升。

然而，也必须清醒认识到其局限性：

  • 领域覆盖偏差 ：尽管 MARTI 尽力多样化，但其数据来源仍有一定倾向性（如学术、设计类素材较多），在极端垂直领域（如医学影像、工业图纸）的泛化能力可能有限。
  • 思维链的“模仿风险” ：模型可能学会了生成“看起来像”思维链的文本，但并未真正内化推理过程。这需要更精巧的评估方法来鉴别。
  • 数据规模与成本 ：高质量标注成本极高，因此 MARTI 的数据量相对于一些通过半自动方式生成的数据集要小。这要求我们在使用时要配合其他数据，并精心设计训练策略，避免过拟合。
  • 对基础模型能力的依赖 ：MARTI 是“锦上添花”，而非“雪中送炭”。如果基础模型的视觉编码能力很弱，或者语言模型的基本逻辑能力很差，那么再好的指令数据也难以让它完成高级推理。它更适合在较强的基座模型（如 LLaMA、Qwen 等）上进行精调。

6. 常见问题与实战避坑指南

在实际尝试使用 MARTI 或类似数据进行微调时，我踩过一些坑，也总结出一些经验。

问题一：训练后模型“胡说八道”或拒绝回答简单问题。

  • 现象 ：使用 MARTI 微调后，模型在需要复杂推理的任务上可能有提升，但在一些原本能答对的简单描述性任务上却表现变差，甚至开始编造内容。
  • 原因 ：这通常是 灾难性遗忘 的典型表现。模型在学习新任务（复杂推理）时，覆盖或遗忘了旧任务（基础描述）的知识。
  • 解决方案 ：
    1. 采用两阶段训练 ：如前所述，先打好基础再精调。
    2. 降低学习率 ：精调阶段使用更小的学习率（如 1e-5）。
    3. 混合数据训练 ：在精调阶段，将 MARTI 数据与一部分基础指令数据（如 20%-30%）混合在一起训练。这相当于持续给模型复习旧知识。
    4. 使用更参数高效的微调方法 ：如 LoRA 或 QLoRA。只训练少量的适配器参数，大部分模型参数被冻结，能极大缓解遗忘问题。

问题二：显存不足，无法训练。

  • 现象 ：加载图片和高分辨率模型后，即使批大小设为 1，也出现 CUDA Out Of Memory 错误。
  • 解决方案 ：
    1. 降低图像分辨率 ：将输入图像 resize 到模型预训练时使用的标准尺寸（如 336x336, 448x448），不要盲目使用高分辨率。
    2. 使用梯度累积 ：如果批大小只能为1，可以设置梯度累积步数（如 4 步），等效于批大小为 4 的效果，但显存占用仅相当于批大小 1。
    3. 启用混合精度训练 ：使用 torch.cuda.amp 进行自动混合精度训练，可以显著减少显存占用并加速训练。
    4. 检查数据加载 ：确保没有在数据加载时无意中保留了原始高分辨率图像的多份拷贝。
    5. 考虑模型剪枝或量化 ：对于极大的模型，可以探索在微调前进行适度的剪枝或使用 4-bit 量化（如 bitsandbytes 库）来加载模型。

问题三：思维链训练效果不明显。

  • 现象 ：按照方式 A 将思维链拼接进答案训练后，模型在评估时并不会主动输出推理步骤，或者输出的步骤质量很低。
  • 原因 ：模型可能只是把思维链当成了答案的一种固定格式，并没有学会在推理时真正使用它。或者在生成时，由于解码策略（如贪婪搜索）倾向于生成短答案，思维链部分被截断或忽略。
  • 解决方案 ：
    1. 在指令中明确要求 ：在训练和推理时，都在人类指令中明确要求“请逐步推理并给出答案”。例如，将指令模板化为：“请按照以下步骤思考：首先...然后...最后...你的答案是：”。
    2. 调整解码参数 ：在推理时，适当提高 max_new_tokens 参数，为模型生成思维链留出足够空间。可以尝试使用核采样（top-p sampling）而非贪婪解码，增加输出的多样性，可能更易激发链式思考。
    3. 尝试方式 B（联合训练） ：如果条件允许，设计联合训练目标，让模型显式地学习生成思维链这一子任务。

问题四：评估指标没有提升，甚至下降。

  • 现象 ：训练损失正常下降，但在验证集或外部基准上，指标纹丝不动或变差。
  • 排查思路 ：
    1. 检查数据泄露 ：确保你的验证集/测试集没有在训练集中出现过。
    2. 检查评估代码 ：确认评估脚本正确解析了模型的输出。特别是当答案格式发生变化（如加入了思维链）时，你的评估函数是否还能正确提取出用于比对的“最终答案”部分？
    3. 过拟合 ：如果训练数据量相对较小（MARTI 属于高质量小数据），模型可能很快过拟合训练集。观察训练损失和验证损失曲线，如果训练损失持续下降而验证损失早早就开始上升，就是过拟合的标志。解决方案包括：增加数据增强（对图像进行随机裁剪、颜色抖动等）、使用更强的正则化（如 Dropout）、减少训练轮数、或者采用早停（Early Stopping）。
    4. 任务不匹配 ：你评估的任务可能并非 MARTI 主要提升的方向。例如，你用 MARTI 微调模型，却用一个纯物体识别的基准来评估，自然看不到提升。确保评估对准你想要提升的能力维度。

最后的心得 ：MARTI 这类数据集代表了一种趋势——从追求数据规模转向追求数据质量与认知深度。在实际应用中，我们完全可以借鉴其构建思想，在自己的业务领域内，收集那些真正需要“动脑筋”的图文案例，哪怕只有几百条，对模型进行定向精炼，其效果往往比堆砌数万条普通数据要好得多。模型能力的上限，越来越取决于我们喂给它的“思考的养分”的质量。

Logo
亚马逊云科技技术品牌专区

更多推荐

cover

深度分析新时代中企业应该如何利用AI更好提质增效

avatar 亚马逊云科技技术品牌专区
cover

2026年8月：Codex、Plus、Pro进入模型迁移期——为什么Agent系统不能把模型名写死？

avatar 亚马逊云科技技术品牌专区
cover

DeepSeek面试风波之外，李博杰开源了一本23.8k Star的AI Agent实战教程

avatar 亚马逊云科技技术品牌专区