集结 MIT、英伟达等名校名企！FoundationMotion 革新视频运动理解，开源模型竟超闭源大模型

论文标题：FoundationMotion: Auto-Labeling and Reasoning about Spatial Movement in Videos

作者团队：麻省理工学院（MIT）、英伟达（NVIDIA）、密歇根大学、加州大学伯克利分校、斯坦福大学

发布时间：2025 年 12 月 11 日

👉 一键直达论文

👉Lab4AI 大模型实验室论文阅读

✨ 研究背景

运动理解是物理推理的基础，但现有视觉-语言模型在真实世界视频的运动分析上仍表现不足：缺乏大规模、细粒度的运动标注数据是关键限制。手动标注成本极高，且难以覆盖复杂运动场景，导致模型难以学习“物体如何运动、空间关系如何变化”的深层逻辑。

✨ 研究方法

FoundationMotion 是全自动数据标注 pipeline，通过“检测-跟踪-生成”三步提取视频运动信息并生成结构化数据，视频预处理裁剪片段、过滤摄像机剧烈运动视频，物体检测与跟踪含开放词汇检测、人类中心检测及时序跟踪，分别识别通用物体、聚焦人机交互、维持跨帧一致性，GPT-4o-mini 将跟踪数据转为含 7 维度的自然语言，同时生成 5 类运动理解问答对，模拟运动逻辑推理需求。

✨ 研究结果

FoundationMotion Dataset 含 50 万组“视频-描述-QA”对（46.7K 视频/QA），标注密度 1.671 问题/秒；微调相关模型后运动理解性能显著提升，前者 MotionBench 提升至 46.7%、AV-Car 提升 7.1%，后者提升至 41.3% 并超越闭源模型；边界框 JSON 提升 QA 质量，不同 QA 类型互补最优。