QIVD 数据集

Qualcomm AI Research 推出了 QIVD 数据集，该数据集能够使用视觉语言模型 （VLM） 研究视觉理解，以回答有关视频中发生的事件的问题。人工智能领域的这一长期目标是现实世界的人工智能助手和人形机器人在日常生活中与人类互动的先决条件。

这对于必须解释和响应实时视觉和音频输入，或与现实世界中的用户交互并了解正在发生的事情的 AI 系统非常有用。

该数据集包含 2900 个数据项，其中每个项包含：

• 带有用户询问有关视频问题的音频的视频。
• 录制期间提出的人工生成问题的转录，以及该问题的人工生成答案
• 标记何时适合回答问题的地面实况时间戳

类别

每个项目都分配给 13 个预定义语义类别之一，这些语义类别表示不同的视觉推理功能：

数据集详细信息

数据格式

数据集分布在两个文件中：

• videos.zip：2,900 个.mp4 格式的 视频文件。
• annotations.zip： 包含所有视频注释的单个 .json 文件。此文件的结构为 2,900 个字典条目的列表，其中每个词条对应一个视频，并包含以下元数据和标签：
  • video：视频文件名（例如“ 00000000.mp4”）
  • 问题 ：视频中提出的问题（例如， “我左手拿着什么？
  • 答案 ：问题的完整答案（例如， “你左手拿着魔方。
  • short_answer：答案的简明版本，仅包含关键信息（例如， “魔方”）。
  • 时间戳 ：视频中回答问题的最佳时间（例如， “00：04.4”）。
  • category：问题的类别（例如， “对象引用”）。

数据集引文说明

该数据集仅用于研究目的。如果您在研究中使用此数据集，请引用我们的论文

下载地址

QIVD 数据集

@misc{pourreza2025visionlanguagemodelsanswerface,
    title={Can Vision-Language Models Answer Face to Face Questions in the Real-World?},
title={视觉语言模型可以在现实世界中回答面对面的问题吗？

    author={Reza Pourreza and Rishit Dagli and Apratim Bhattacharyya and Sunny Panchal and Guillaume Berger and Roland Memisevic},
author={Reza Pourreza 和 Rishit Dagli 和 Apratim Bhattacharyya 和 Sunny Panchal 和纪尧姆·伯杰和罗兰·梅米塞维奇}，
    year={2025},  年={2025}，
    eprint={2503.19356},  eprint={2503.19356}，
    archivePrefix={arXiv},  存档前缀={arXiv}，
    primaryClass={cs.CV},  primaryClass={cs。CV}，
    url={https://arxiv.org/abs/2503.19356},
网址={https://arxiv.org/abs/2503.19356}，
}