文章概括

引用：

@article{yang2025cambrian,
  title={Cambrian-S: Towards Spatial Supersensing in Video},
  author={Yang, Shusheng and Yang, Jihan and Huang, Pinzhi and Brown, Ellis and Yang, Zihao and Yu, Yue and Tong, Shengbang and Zheng, Zihan and Xu, Yifan and Wang, Muhan and others},
  journal={arXiv preprint arXiv:2511.04670},
  year={2025}
}

Yang, S., Yang, J., Huang, P., Brown, E., Yang, Z., Yu, Y., Tong, S., Zheng, Z., Xu, Y., Wang, M. and Lu, D., 2025. Cambrian-S: Towards Spatial Supersensing in Video. arXiv preprint arXiv:2511.04670.

主页： https://cambrian-mllm.github.io/
原文： https://arxiv.org/pdf/2511.04670
代码、数据和视频： https://github.com/cambrian-mllm/cambrian-s

系列文章：
请在 $《$文章$》$ 专栏中查找

---

宇宙声明！

引用解析部分属于自我理解补充，如有错误可以评论讨论然后改正！

---

ABSTRACT

我们认为，要在真正的多模态智能上取得进展，就必须从那种被动响应、任务驱动的系统以及单纯依赖“暴力拉长上下文长度”的做法，转向一种更为宏观的“超级感知”（supersensing）范式。我们将空间超级感知划分为超越“仅凭语言理解”的四个阶段：语义感知（给看到的内容命名）、流式事件认知（在连续体验中保持记忆）、隐式三维空间认知（从像素背后推断现实世界），以及预测式世界建模（构建用于过滤和组织信息的内部世界模型）。现有的评测基准大多只覆盖前两个早期阶段，对空间认知的覆盖范围很窄，也很少以真正需要世界建模的方式来挑战模型。为了推动空间超级感知的发展，我们提出了一个名为VSI-SUPER的双部分基准集：VSR（长时程视觉空间回忆，long-horizon visual spatial recall）和VSC（持续视觉空间计数，continual visual spatial counting）。这些任务需要处理任意长的视频输入，但同时又对“单纯拉长上下文长度”的暴力扩展方式不敏感、甚至具有一定抵抗性。随后，我们构建了VSI-590K数据集并训练了Cambrian-S模型，用来测试数据扩展的极限；在不牺牲模型通用能力的前提下，我们在VSI-Bench上取得了绝对数值提升30%的性能增益。然而，在VSI-SUPER上的表现仍然受限，这表明单纯依靠规模扩展（更多数据和算力）并不足以实现空间超级感知。我们提出“预测式感知”（predictive sensing）作为未来的前进方向，并给出了一个概念验证：使用一个自监督的“下一潜在帧预测器”，利用“惊讶度”（即预测误差）来驱动记忆选择和事件分段。在VSI-SUPER上，这种方法显著优于当前领先的闭源基线模型，说明要实现空间超级感知，模型不仅要“看见”，还必须能够“预测、筛选并组织”自己的体验。

Website: https://cambrian-mllm.github.io
Code: https://github.com/cambrian-mllm/cambrian-s
Cambrian-S Models: https://huggingface.co/papers/2511.04670
VSI-590K: https://hf.co/datasets/nyu-visionx/vsi-590k
VSI-SUPER: https://hf.co/collections/nyu-visionx/vsi-super

0. 他们到底在干嘛？一句话版

他们想让视频大模型不只是“看一眼就回答”，而是像人一样：

• 长时间看一个视频流（比如两小时的室内走路录像），
• 记住东西在哪里、出现过几次，
• 知道什么时候发生了“新事件”，
• 还能自己预测接下来大概要看到什么，如果和预期不一样就“眼前一亮：诶，这个要记住”。

这就是他们叫的 “空间超级感知（spatial supersensing）”。

整篇论文做三件事：

1. 造一个很难的新考试：VSI-SUPER（VSR + VSC）
2. 造一个大数据集 VSI-590K + 训练一个视频多模态大模型 Cambrian-S，看“堆数据 + 堆模型”极限能到哪。
3. 发现“堆料”还是不够后，加了一个“预测式感知”模块：让模型学着“预测下一帧 + 用惊讶度决定记忆和分段”。

1. 先把几个关键词用“人类类比”讲清楚
1.1 四个“超级感知”阶段（相当于人类的 4 个等级）

他们把从“只理解文字”到“真正懂空间”的能力，分成 4 级：

1. 语义感知：

   • 像你看一张照片，会说：“这里有一张桌子、一把椅子、一只猫”。
   • 对模型来说，就是认东西 + 起名字。

2. 流式事件认知：

   • 像你看 vlog，一边看一边记得：“刚才那只猫从客厅走到厨房了”。
   • 对模型来说，就是在长视频里，记住之前发生过什么（不是只看单帧）。

3. 隐式三维空间认知：

   • 你看一个房间，哪怕没量过，也 roughly 知道：沙发离电视多远、哪张桌子是在窗户前面。
   • 对模型来说，就是从二维像素里“脑补”出三维布局——背后有个 3D 世界。

4. 预测式世界建模：

   • 人大脑里有个“世界模型”：你觉得“门后面还是走廊”“杯子放桌边再推一下就会掉下去”。

   • 对模型来说，就是要有内部世界模型，能用来：

     • 预测接下来会发生什么、
     • 知道什么是“正常”，
     • 什么是“出乎意料，需要记一下”。

他们说：现在大多数 benchmark 只考前两级（认东西 + 短时间记一下），真正考“长期空间记忆 + 预测”的几乎没有。

2. 新的考试：VSI-SUPER = VSR + VSC

他们先造了一个专门卡这些能力的考试 —— VSI-SUPER，里面有两类任务：

2.1 VSR：长时程视觉空间回忆（Visual Spatial Recall）

可以想象成这个场景：

• 研究员拿很多“室内走路视频”（从 ScanNet、ARKitScenes 等 3D 数据集来的），
• 用 Gemini 等模型帮忙，把一个特别的物体（比如一只泰迪熊）P 到视频里四个不同的位置，
• 然后把很多这样的片段，串成一个超长的视频流，可以长到 240 分钟。

考试题大概像：

“刚才这条长视频里，那只泰迪熊依次出现在哪些地方？按顺序说出来。”

所以模型要做到：

• 在漫长的视频流里，
• 把一个“视觉针”从大草堆里挑出来，
• 记住它在空间上分别出现在哪些位置，
• 还得按时间顺序复述 —— 超长时序 + 空间回忆。

2.2 VSC：持续视觉空间计数（Visual Spatial Counting）

这个像是：

• 把很多“房间参观/Room Tour”的视频剪成片段，
• 再给你一个目标物体，比如“椅子”，
• 这些片段被拼在一起：房间 A → B → A 又回来 → C ……

题目是：

“整条视频里，一共出现了多少把椅子？”

难点：

• 视角在乱切（进出不同房间、视点变换），
• 有时候会回到之前的房间，
• 模型要持续维持一个总计数，不能每次看到椅子都乱加一（要判断是不是之前见过的那把）。

他们用这两个任务测试：模型在 10~120 分钟 长度的视频流里，能不能撑住记忆和计数。结果是：现有大模型（包括 Gemini 2.5、Cambrian-S 只用长上下文版本）表现都很烂，说明：

单纯把上下文 window 做很长，不足以搞定“持续空间感知”。

图1｜从像素到“可预测的心智”。我们超越仅依赖语言理解的视角，设想一种多模态智能：它能够在一个连续的、如同“真实生活”的世界中，看见、记住并进行推理。这一过程始于语义感知：对所见内容进行命名和描述。进一步的“流式事件认知”则实现对连续输入流的持续感知，将记忆整合在其中，并支持前瞻性的主动响应。空间认知刻画视频中隐含的三维结构，使模型能够围绕物体、空间布局以及数量与尺度等方面展开推理。最终，一个预测式的世界模型由此涌现：它从经验中被动学习，通过“预测—惊讶（预测误差）”不断更新自身，并将关键信息保留下来以供未来使用。下方示意图：视频是理想的实验载体。模型必须从“逐帧问答”式的浅层能力迈向隐式世界模型的构建，从而支撑更深层的空间推理，扩展到无边界的时间尺度，并实现足以匹敌、甚至最终超越人类视觉智能的超级感知能力。

1. Introduction

光靠“语言+长上下文”的多模态大模型，是搞不定真正的空间理解的，所以他们
1）先提出“空间超级感知”的分级框架和一个新考试 VSI-SUPER，
2）再用一个大数据集 VSI-590K 训练最强空间模型 Cambrian-S，
3）最后发现光堆规模不够，于是用“预测下一潜在帧 + 惊讶度控制记忆和事件分段”这套“预测式感知”机制，在新考试上明显干赢其他长上下文大模型。

视频并不仅仅是彼此孤立的帧序列。它是一个“被隐藏但不断演化的三维世界”持续地、高带宽地投影到像素上的过程[46, 90]。尽管多模态大语言模型（multimodal large language models, MLLMs）通过将强大的图像编码器与语言模型相结合而迅速发展[1, 122, 3, 78, 124]，但大多数视频扩展模型[137, 65, 9]在本质上仍然受到严重限制。这些方法仍然把视频当作“稀疏抽取的若干帧”来处理，对空间结构和动态过程的刻画严重不足[148]，并且在推理时高度依赖文本回忆[168]，因而忽视了视频模态之所以独特而强大的关键所在。

在本文中，我们主张：要向“真正的多模态智能”迈进，必须从以语言为中心的感知范式，转向“空间超级感知（spatial supersensing）”——即不仅能够“看见”，还能够基于连续的感官体验，借助对三维世界的隐式模型来进行构建、更新与预测的能力。我们并不声称在此已经实现了真正的超级感知；相反，我们的工作是迈出初步一步：明确刻画一条可能通向这一方向的发展路径，并在这一路径上的若干阶段给出早期原型示例：

0. （仅限语言的理解阶段）：没有感知能力，推理完全局限在文本和符号之中。目前的多模态大语言模型已经超越了这一阶段，但仍保留着这种语言中心偏见的若干痕迹。

1. 语义感知：将像素解析为物体、属性以及它们之间的关系。这与当前MLLMs中表现突出的那类“看图说话（show and tell）”多模态能力相对应。

2. 流式事件认知：在处理实时、无上界的输入流时，能够主动地对正在发生的事件进行解释并作出响应。这一阶段与当前致力于将MLLMs打造成实时助手的研究方向相契合。

3. 隐式三维空间认知：将视频理解为一个三维世界的投影。在这一阶段，智能体必须知道：当前有哪些东西、它们位于何处、相互之间如何关联，以及这些空间结构如何随时间演变。当前的视频模型在这一层面仍然能力有限。

4. 预测式世界建模：大脑会基于既有预期来预测潜在的世界状态，从而进行无意识推断[130]。当这些预测被现实违背时，“惊讶”会引导注意力分配、记忆选择以及学习过程[41, 120, 60]。然而，当前多模态系统并不具备这样一种内部模型：它既能够预判未来状态，又能够利用“惊讶”来组织感知，从而服务于记忆与决策。

我们的论文由三部分构成。首先（§2），我们从所提出的超级感知层级出发，重新审视现有评测基准。我们发现，大多数基准仅对应于前几个阶段，而少数如VSI-Bench[148]开始触及空间推理能力。然而，没有任何现有基准能够充分覆盖最后这个至关重要的阶段——预测式世界建模。为了使这一缺口更加具体、并推动研究范式的转变，我们提出了VSI-SUPER（其中VSI代表visual-spatial intelligence，即“视觉—空间智能”），这是一个面向空间超级感知的双部分基准集：其中，VSI-SUPER Recall（VSR）针对长时间尺度上的空间观察与回忆能力，而VSI-SUPER Count（VSC）则考察在视角和场景不断变化条件下的持续计数能力。这些任务由任意长的时空视频构成，刻意设计为对当前主流的多模态套路具有“抗性”，它们要求感知过程是选择性的、结构化的，而不是对信息进行不加筛选的简单堆积。我们表明，即便是当前最强的长上下文商用模型，在VSI-SUPER上也表现乏力。

其次（§3），我们探究空间超级感知是否仅仅是一个“数据规模”问题。我们整理构建了VSI-590K，一个以空间为重点、覆盖图像和视频的指令微调语料库，并据此训练了一系列空间对齐的视频MLLMs——Cambrian-S。在当前范式之内，通过精心设计数据与训练流程，我们使Cambrian-S在VSI-Bench上达到了最先进的空间认知水平（绝对提升超过30个百分点），且并未牺牲其通用能力。然而，Cambrian-S在VSI-SUPER上的表现仍不理想，这表明：虽然规模扩展为空间超级感知奠定了关键基础，但它本身并不足以实现这一目标。

这一观察促成了第三部分、也是最后一部分（§4）：我们提出“预测式感知”（predictive sensing），作为迈向新范式的第一步。我们给出了一种基于自监督“下一潜在帧预测”（next-latent-frame prediction）的概念验证方案。在这一方案中，我们利用模型的预测误差——即“惊讶”（surprise）——来承担两个关键功能：(1) 管理记忆，将更多资源分配给出乎意料的事件；(2) 进行事件分割，将无界的连续流划分为有意义的片段。我们展示了：尽管这种方法相对简单，但在我们提出的两个新任务上，其性能显著优于包括Gemini-2.5在内的强大长上下文基线模型。虽然这还远非最终解决方案，但这一结果有力地表明：通往真正超级感知的道路，需要的是那些不仅能“看见”，还能够主动对世界进行预测并从中学习的模型。

我们的工作主要有以下贡献。

(1) 我们定义了一套空间超级感知的层级结构，并提出了VSI-SUPER这一超级感知基准，用以揭示当前范式的局限。

(2) 我们研发了Cambrian-S这一最先进模型，将当前空间认知能力推向新的上限。Cambrian-S作为一个强有力的新基线，通过在我们新基准上的表现划定了现有方法的能力边界，从而为新范式的探索铺平道路。

(3) 我们提出“预测式感知”作为MLLMs的一个重要新方向，并表明：与被动地扩展上下文长度相比，利用模型的“惊讶”信号来驱动长时程空间推理更加有效。

一、他们先指出的问题：现在的视频 MLLM 很“扁平”

1. 视频不是孤立帧的集合

   • 视频 = “一个真实三维世界持续投影到像素上的过程”，是隐含着 3D 结构、物体关系、时间演化的。

2. 现在的视频多模态大模型的问题

   • 把视频当成“抽几帧图像”来看，几乎没把空间结构和动态过程当回事； *
     推理时严重依赖文本记忆/提示，而不是充分利用视频模态的丰富信息。

3. ⇒ 结论：

   • 目前范式还是 “语言中心 + 稀疏视频拼接” ，离“真正多模态智能”差一大截。

---

二、他们提出的框架：空间超级感知的 5 个阶段

这是整篇文章的思想骨架：从“只会玩文字”到“能在视频里做世界建模”，分成 0–4 共 5 阶段：

0. 仅语言理解

   • 完全靠文本和符号推理，没有任何感知。
   • 现在的 MLLM 已经超越这个阶段，但语言中心偏见还很重。

1. 语义感知

   • 能把像素“翻译”成物体、属性、关系（就是典型的“看图说话”能力）。
   • 这是当前 MLLM 最擅长的那部分。

2. 流式事件认知

   • 能在实时、无限长的输入流中，一边看一边理解正在发生什么，并做出回应。
   • 对应现在把 MLLM 做成“实时助手”的方向。

3. 隐式三维空间认知

   • 把视频当作三维世界的投影来理解：

     • 世界里有哪些东西、在哪里、互相怎样关联、空间结构如何随时间变化。

   • 当前视频模型在这一层的能力很弱。

4. 预测式世界建模

   • 有一个内部世界模型，会自动预测未来可能的世界状态；
   • 当预测被打脸时，“惊讶”会引导注意力、记忆写入和学习；
   • 现在多数多模态系统完全不具备这种“用世界模型来组织感知和记忆”的能力。

这 5 个阶段就像一条“通向真正空间智能”的路线图，他们后面所有东西（基准、模型、方法）都挂在这条线上。

---

三、第一部分：基于分级框架，重新审视现有基准 → 提出 VSI-SUPER

1. 他们把现有多模态/视频基准按上面 5 个阶段重新分类：

   • 大部分基准只覆盖前面几个阶段（尤其是语义感知、流式事件认知）；
   • VSI-Bench 这类开始触及空间推理，但还没碰到最难的“预测式世界建模”阶段。

2. 发现：没有任何基准真正考“预测式世界建模”。

3. 为了填这个缺口，他们提出了一个新的双部分基准 VSI-SUPER：

   • VSR (Recall)：考“长时间尺度上的空间观察与回忆”；
   • VSC (Count)：考“视角和场景不断变化时的持续计数能力”。

4. 设计思路：

   • 视频可以任意长（无上界的时空序列）；

   • 题目刻意设计为 对“简单拉长上下文 + 堆 token”的套路有抗性：

     • 逼模型必须做“选择性、结构化的感知”，
     • 而不是粗暴地把所有内容扔进大 context 里。

5. 实验结果：

   • 即便是现在最强的长上下文商用模型，在 VSI-SUPER 上依然很拉胯。
   • ⇒ 当前范式有明显局限。

---

四、第二部分：VSI-590K + Cambrian-S → 光堆数据和模型，能到什么程度？

1. 他们问了一个关键问题：

   “空间超级感知是不是只要把数据做大、模型做大就能解决？”

2. 为此，他们构建了 VSI-590K：

   • 一个以“空间”为重点的、同时覆盖图像和视频的指令微调语料库；
   • 问题都围绕空间关系、数量、三维结构来设计。

3. 基于 VSI-590K，他们训练了一家族视频 MLLM：Cambrian-S，目标是空间对齐的视频模型。

4. 在当前范式下（就是“好视觉编码器 + 好 LLM + 精心设计的指令微调”）：

   • Cambrian-S 在 VSI-Bench 上把空间认知水平拉到了 SOTA（绝对提升 30+ 个百分点）；
   • 同时没有牺牲模型的通用能力。

5. 但在 VSI-SUPER 上：

   • Cambrian-S 依然表现不佳；
   • ⇒ 说明“扩大数据和模型规模是必要基础，但本身不够”，
   • 真正的空间超级感知不能靠“scale-only”解决。

---

五、第三部分：提出“预测式感知” → 用惊讶度驱动记忆和事件分割

1. 上面的结果，把他们推向第三步：

   • 既然 scale-only 不够，那就需要新的感知范式。

2. 他们提出 “预测式感知（predictive sensing）”：

   • 不再只是把视频当“被动观察对象”；

   • 而是让模型具备一个自监督训练的“下一潜在帧预测器”：

     • 预测下一帧在 latent 空间里的表示；
     • 用预测误差来衡量“这帧有多出乎意料”——也就是惊讶度（surprise）。

3. 惊讶度承担两个关键功能：

   1. 记忆管理：

      • 把更多记忆资源分配给“高惊讶”的事件；
      • 平平无奇的帧就少记/不记，防止记忆被无关信息淹没。

   2. 事件分割：

      • 用“惊讶度的变化”把无限长的视频流划分为有意义的事件片段；
      • 例如从“闲的走廊”瞬间变成“有人闯入”的时刻，就会有惊讶峰值，从而标记一个新事件。

4. 验证结果：

   • 在他们提出的两个新任务（VSR、VSC）上，这种“预测式感知”方法明显优于包括 Gemini-2.5 在内的强大长上下文模型。

   • 虽然方法还很初步，但已经说明：

     想要真正的超级感知，模型必须会“预测 + 用惊讶组织感知和记忆”， 不只是“被动看 + 暴力拉长上下文”。

---

六、他们声称的三点主要贡献

1. 理论与评测框架

   • 定义了一套“空间超级感知”的层级结构；
   • 提出 VSI-SUPER 这个新基准，专门暴露当前范式的局限。

2. 新的强基线模型：Cambrian-S

   • 用 VSI-590K 训练了当前空间认知最强的 Cambrian-S；
   • 在新基准上划定了“现有方法的能力上限”，为后续新范式提供“起跑线”。

3. 新方向：预测式感知

   • 提出“预测式感知”作为 MLLM 发展的新方向；
   • 实验证明，用惊讶信号来驱动长时程空间推理，比单纯扩展上下文更有效。

2 空间超级感知的基准评测

为了让我们对空间超级感知的追求“落到实处”，我们首先需要确定如何对这种能力进行度量。本节围绕如何构建该能力的评测基准，展开了由两部分组成的研究。我们首先对一系列流行的视频MLLM基准进行审视；我们的分析（见图3）表明：这些基准在绝大多数情况下都集中于语言理解与语义感知，而忽视了超级感知所必需的、更高阶的空间与时间推理能力（第2.1节）。为了解决这一关键缺口，我们提出了一个新的基准VSI-SUPER，它被专门设计用来在任意长度的流式场景下，刻意考察空间智能中那些更难、且持续性的方面（第2.2节）。在论文的其余部分中，我们都将使用这一基准来检验当前MLLM范式所能达到的极限。

2.1 现有视频基准的拆解分析

MLLMs的最新进展催生了大量视频问答（Video-QA）类基准。然而，一个关键问题仍然悬而未决：现有的视频基准在多大程度上真正考察了模型的“视觉感知能力”，而不是仅仅在测试其语言先验？我们的诊断性测试通过调节视觉输入的丰富程度和文本线索的信息量，来区分模型对视觉感知与语言先验的依赖程度。那些仅凭文本输入（例如图像字幕或者完全“看不见”的MLLM）就能解决的基准，更偏向于考察语言理解能力。与之相反，那些只能通过多帧视频输入才能回答的问题，则要求模型具备真正的视觉感知能力。我们使用一个基于图像的多模态大语言模型Cambrian-1[124]来进行评估，这使我们能够在不掺杂视频特定架构或后训练技巧影响的前提下，直接洞察任务本身的需求特性。

我们为向Cambrian-1[124]输入视频数据设定了若干实验条件：

• Multiple Frames（多帧）：模型接收并处理从视频片段中均匀采样得到的32帧图像。这是文献中表示视频输入的标准做法[65]。

• Single Frame（单帧）：模型只处理给定视频片段的中间帧。该条件用于测试模型在仅有最小、但语境上居中的视觉信息时的表现。

• Frame Captions（帧字幕）：模型不再接收真实的视频帧，而是接收与那32帧均匀采样图像对应的文本描述。本条件旨在揭示：在缺乏低层感知支撑的情况下，任务还能在多大程度上被解决。我们使用Gemini-2.0-Flash API对视频帧进行重新字幕生成。

为了对比不同条件下的表现，我们又引入了两个额外基线：

• Blind Test（盲测）：模型在仅看到任务问题本身的情况下尝试完成任务，不接收任何视觉输入，也不使用视觉字幕。这个基线衡量的是：模型基于已有知识、语言先验以及基准问题中潜在偏差所能达到的表现。
• Chance Acc（随机准确率）：表示在该任务具体形式下（例如多选题）通过纯随机猜测所能达到的准确率，用作性能下限。

我们通过比较模型在上述不同条件与基线下的表现，对各个基准的特性进行了细粒度分析。我们重点考察以下关键对比（$\mathtt{diff}(\mathtt{A},\mathtt{B})=\mathtt{A}-\mathtt{B}$）：

• $\mathtt{diff}(\mathtt{x},\mathtt{Blind})$，其中 x ∈ { M u l t i p l e , S i n g l e , C a p t i o n s } \mathtt{x\in\{{Multiple},{Single},{Captions}\}} x∈{Multiple,Single,Captions}，用于量化不同输入模态相对于盲测基线所带来的性能提升；
• $\mathtt{diff}(\mathtt{x},\mathtt{Chance})$，其中 x ∈ { M u l t i p l e , S i n g l e , C a p t i o n s } \mathtt{x\in\{{Multiple},{Single},{Captions}\}} x∈{Multiple,Single,Captions}，用于衡量相对于随机猜测的性能增益；
• $\mathtt{diff}(\mathtt{Multiple},\mathtt{Captions})$，用于刻画当前主流 “多帧视频输入” 做法与一个强语言仅基线之间的性能差距。

图2(a–c)中的结果表明：Cambrian-1[124]作为一个未经过任何视频后训练的图像型MLLM，已经能够在许多基准上取得相当可观的表现，在部分任务中甚至比随机水平高出10–30%（见图2-g,h）。这说明，这些基准所考察的相当一部分知识，其实可以通过标准的“单图像指令微调”流程获取。然而，在两个现有数据集VSI-Bench[148]和Tomato[116]上，该模型的表现却低于随机水平。对于VSI-Bench，这在很大程度上是因为其空间理解题目确实需要真实的视频感知能力，以及有针对性的数据整理与训练。对于Tomato，这种表现不佳是意料之中的：该基准要求模型从高帧率视频中理解细粒度细节，而我们使用的单帧和32帧输入在时间上大幅下采样，自然难以满足这一需求。

图2｜基准诊断结果揭示了各数据集对视觉输入依赖程度的差异。我们在不同输入条件下评估模型：(a) 多帧条件：32帧均匀采样图像；(b) 单帧条件：视频中间帧；© 帧字幕条件：上述32帧对应的文本描述，并将其与随机水平与盲测（忽略视觉输入）结果进行对比。子图(a–c)给出绝对准确率，子图(d–j)展示不同条件之间的性能差值。对于VSI-Bench[148]、Tomato[116]和HourVideo[20]，视觉输入的重要性显著更高；而在VideoMME[42]、MVBench[71]和VideoMMMU[53]中，视觉输入的影响则不那么突出。VSR和VSC是第2.2节中引入的新的超级感知基准任务。

这一节其实在做两件事：

1. 先“批判性体检”了一遍现有的视频多模态基准；

2. 再通过实验说明：很多所谓“视频任务”，其实可以用“图+字幕+语言先验”混过去，真正强依赖视觉感知的很少。

可以这样理解：
1. 他们关心的问题：这些视频基准，真的在考“看东西”吗？

现在 Video-QA 数据集很多，但作者问了一个扎心的问题：

这些 benchmark，到底是在考“视频感知”，还是只是在考“模型语言有多会猜题”？

于是他们做了一个“拆解实验”：

• 用同一个模型 Cambrian-1（只会看图，不是视频专模）；

• 换不同“喂视频”的方式，看性能变化。

三种“带视觉”的喂法：

• Multiple Frames：32 帧均匀采样（标准做法）；
• Single Frame：只给中间那一帧，看“靠关键帧能做多少”；
• Frame Captions：不看图，只看这 32 帧对应的字幕（视觉信息全变成文字）。

再加上两个基线：

• Blind Test：什么视觉都不给，只看问题；
• Chance Acc：纯随机瞎猜。

然后，他们看各种差值：

• 比如 $\mathtt{diff}(\mathtt{x},\mathtt{Blind})$ ：如果差很小，说明多给视频和不给视频没啥区别 → 任务主要靠语言；

• $\mathtt{diff}(\mathtt{Multiple},\mathtt{Captions})$：如果差很小，说明“看图”和“看字幕”差不多 → 图像本身的低层信息贡献不大；

• 再看相对 Chance，有没有真正“超过瞎猜很多”。

2. 实验结论：很多“视频基准”其实可以被“图像微调 + 语言先验”搞定

他们用的 Cambrian-1 是一个只做了图像多模态微调的 MLLM，没有专门的视频训练。 结果：

• 在很多 benchmark 上，它都跑得不错，比随机高 10–30%。

• 这说明：

  这些数据集想考的“知识”，用单图像+指令微调就能学到，未必需要真正复杂的视频时序/空间建模。

但有两个例外：

VSI-Bench：

• Cambrian-1 跑得比随机还差；
• 原因是它确实在考“空间理解+真正的视频感知”，需要针对性数据和训练。

Tomato：

• 这个数据集要从高帧率视频里抓细节；
• 但实验只给了“单帧”或“32帧下采样视频”，信息不够，所以性能低于随机也是意料之中。

同时，他们的 Figure 2 还说明：

• 像 VSI-Bench、Tomato、HourVideo 这种，视觉输入真的很关键；
• 但像 VideoMME、MVBench、VideoMMMU 这种，视觉的作用就没那么大，经常“看字幕/看问题+语言先验”就能混过去。

用文本字幕替代视觉输入同样会带来显著的性能提升，在诸如EgoSchema[87]、VideoMME[42]、LongVideoBench[140]、VideoMMMU[53]、Perception Test[103]和MVBench[71]等基准上，其准确率比随机水平高出了20个百分点以上（见图2-i）。当我们将这些基准的表现与盲测结果进行对比时（见图2-d,f），也可以得出类似的结论。这种表现意味着，这些基准主要在考察那些可以从视频内容的文字概要中推断出来的能力。从“多帧输入”和“帧字幕”两种条件之间的性能差异（见图2-j）来解读：如果差值明显为正（多帧输入更优），则表明该基准对细致入微的视觉感知有更高需求。相反，如果差值很小甚至为负（帧字幕更占优势），则说明该基准更具语言中心的特征。我们的分析将VideoMMMU、EgoSchema、VideoMME、Perception Test和LongVideoBench归入后者类别，这表明它们在很大程度上可能依赖语言理解而非视觉线索。一个值得注意的例外是VSC：对于当前的MLLMs而言该任务难度极高，以至于在三种输入条件下的表现都接近于零，从而无法在它们之间进行有意义的比较。

现有基准在绝大多数情况下都聚焦于语言理解和语义感知，而忽视了实现超级感知所必需的、更高层次的空间与时间推理能力。

我们希望强调的是：为模型构建评测基准本身就具有内在挑战性，要用一个单一、包罗万象的基准来评估所有能力，在实践中并不现实。例如，对语言先验的依赖不应被简单视为缺陷，因为在许多情境中，能够访问并有效提取丰富的世界知识无疑是非常有价值的。我们认为，视频基准不应被视为是在测量某种单一、统一的“视频理解”能力。相反，它们的设计与评估应当扎根于其试图考察的具体能力维度。因此，上述分析的目的在于为任务设计提供指导，使之能够更有效地推动空间超级感知方面的进展——这也将成为本文其余部分的核心重点。

1. “只看字幕”也能拿高分 → 很多视频基准其实在考“读题＋读字幕”

作者发现： 当模型 完全不看视频，只看帧的文本描述（frame captions） 时：

• 在很多数据集上：EgoSchema、VideoMME、LongVideoBench、VideoMMMU、Perception Test、MVBench 等

• 准确率比“随机乱猜”高 20 个百分点以上。

再把“只看字幕”的结果和“盲测”（只看问题、不看任何视觉或字幕）对比，结论也是类似：

很多任务，可以靠“看字幕+语言知识”解决，而不需要真正理解视频画面本身。

也就是说： 这些 benchmark 很大一部分实质上是在测“文本总结 + 语言推理能力”，而不是在严肃地测“视觉感知能力”。
2. 用“多帧视频”比“字幕”强多少，是判断任务到底靠不靠视觉的关键指标

他们重点看了一个差值：

多帧输入 vs 帧字幕 的性能差（Fig 2-j）

• 如果 多帧 ≫ 帧字幕（差值很大、且多帧更好）： → 说明这个任务真的需要“细致的视觉感知”（比如要看细节、位置信息、动态变化）。
• 如果差值很小，甚至帧字幕比多帧还好： → 说明这个任务更偏“语言推理”：
  • 只要知道字幕里说了什么，依靠语言先验就够了。
  • 真正的视觉信息贡献有限。

在他们的分析中：

• VideoMMMU、EgoSchema、VideoMME、Perception Test、LongVideoBench
  • 基本都属于“字幕就足够”的那一类；
  • 说明这些数据集在很大程度上依赖语言理解，而不是视频画面。
• VSC 是一个特例：
  • 这个任务太难，现在的 MLLM 在三种条件（多帧、单帧、字幕）下都接近 0 分；
  • 所以没法比较“哪种输入更好”，因为都差不多惨。
  • 反向证明：VSC 是那种真正“超纲”的空间/时间难题。

2.2 VSI-SUPER：面向多模态LLM的空间超级感知基准

如图1所示，空间超级感知要求多模态LLM同时具备四项关键能力：语义感知、流式事件认知、隐式三维空间认知以及预测式世界建模。然而，正如我们在图2中的分析所示，大多数现有的视频问答基准主要评估的是语言理解与语义感知这两方面，它们更偏向被动响应、以具体任务驱动[42, 87, 53]。尽管近期研究已经开始通过持续感知、记忆结构以及前瞻式回答机制来触及流式事件认知[24, 104, 97, 139, 119, 159]，但这类能力往往是在测试阶段通过工程手段“临时搭建”的，而并非模型原生具备的技能。此外，虽然在部分现有基准中会零星出现“空间推理”这一类别，但相关任务很少真正达到“空间认知”的层级，更谈不上触及界定超级感知的世界建模能力（见图3）。尽管VSI-Bench[148]向考察空间认知迈出了初步一步，但其视频仍然较短且局限于单一场景，同时既没有形式化问题本身，也未对“世界的预测式建模”这一核心能力进行评估。

图3｜当前视频基准如何概念化空间感知的示意。左侧子图展示了VideoMME[42]中“空间推理”子类别的示例，包括来自Shutter Authority的“What if the Moon Crashed into the Earth?”中关于重力的提问，以及来自NASA视频“Astronaut Bruce McCandless II Floats Free in Space.”中关于宇航员装备的提问。与之形成对比的是，右侧子图展示了VSI-Bench[148]中的样例，强调的是诸如物体计数、相对方向识别、路径规划等视觉—空间推理任务。

为了凸显当前MLLM与空间超级感知之间的差距，我们提出了VSI-SUPER这一面向持续空间感知的双部分基准。这些任务对人类而言非常直观、普遍容易：只需“看着视频，记住发生了什么”即可，但对机器来说却出乎意料地困难。 它们要求模型在无边界的空间视频中进行选择性过滤与结构化累积视觉信息，以维持连贯的理解并作出准确回答。更重要的是，这些任务对简单的“暴力扩展上下文长度”具有天然抵抗性，从而凸显出对真正空间推理能力的需求。下面我们分别介绍这两个子任务。

VSI-SUPER Recall（VSR）：长时程空间观察与回忆。
VSR基准要求MLLM对长时间尺度的时空视频进行观察，并按顺序回忆某个“不寻常物体”出现的位置。如图4所示，在构建该基准时，人工标注者会使用图像编辑模型（例如Gemini[30]），在记录室内环境漫游过程的视频[33, 153, 12]中的四个不同帧（及其空间位置）中插入一些令人意外或“格格不入”的物体（如泰迪熊）。随后，这段被编辑过的视频会与其他类似的“房间漫游”视频连接起来，形成一个任意长度的连续视觉流。这一任务与语言领域中常用来压测LLM长上下文能力的“针在草堆里”（needle-in-a-haystack, NIAH）测试[79]有相似之处。类似的NIAH设定也被用于长视频评测[162, 138, 54]。然而，与那些直接插入无关文本片段或图像帧的基准不同，VSR通过在同一帧内进行编辑来保持“针”本身的真实感。它还通过要求顺序回忆进一步加大了任务难度，本质上形成一个多跳推理任务，并且在视频长度上可以任意扩展。为了在不同时间尺度上全面评估模型表现，该基准提供了5种视频长度：10分钟、30分钟、60分钟、120分钟和240分钟。关于VSR构建过程的更多细节见附录B节。

图4｜VSR基准构建流程与任务形式示意图。我们利用生成模型对视频进行编辑，将一些令人意外或“不合环境”的物体插入到场景中。核心任务是要求模型在任意长度的视频中，按这些物体出现的先后顺序，回忆它们各自的空间位置。

VSI-SUPER Count（VSC）：视角与场景变化下的持续计数。
在这一子任务中，我们考察MLLM在长时程空间视频中持续累积信息的能力。为构建VSC，我们将来自VSI-Bench[148]的多段“房间漫游”视频片段拼接起来，并要求模型统计所有房间中目标物体的总数（见图5）。这一设定具有相当难度，因为模型必须在处理视角变化、重复看到同一物体以及场景切换的同时，始终维持一个一致的累计计数。对人类来说，计数是一个直观且具有高度可推广性的过程。一旦理解了“1”这一概念，将其扩展到更大的数量是自然而然的事情。而与此形成鲜明对比的是，我们将在后文展示：当前MLLM并不具备真正的空间认知，而是过度依赖于其所学习到的统计模式。除了标准评估方式（即在视频结束时提出问题）外，我们还在多个时间点对模型进行查询，以评估其在流式场景中的表现——此时VSC中的正确答案会随时间动态变化。为检验模型的长期一致性，VSC包含4种视频时长：10分钟、30分钟、60分钟和120分钟。对于这一定量任务，我们采用平均相对准确率（mean relative accuracy, MRA）作为评估指标，与VSI-Bench[148]的评测协议保持一致。

图5｜VSC基准概览。该基准通过由多个场景拼接而成的长时程、多房间视频，评估模型的计数能力。在视频的不同时间点提出查询，以模拟流式问答场景。

当前最先进的模型在VSI-SUPER上表现吃力。
为了检验VSI-SUPER是否对前沿MLLM构成真正的挑战，我们对最新的Gemini-2.5-Flash[122]进行了评估。如表1所示，尽管其上下文长度高达1,048,576个token，该模型在处理两小时视频时仍然达到了上下文极限。这凸显了视频理解本身的“开放性”：连续视频流在本质上需要一种“无限输入、无限输出”的上下文形式，并且其长度可以任意增长，这表明单纯地增加token数量、上下文长度或模型规模可能并不足以解决问题。虽然我们的基准是合成构建的，但它反映的却是空间超级感知中的一个真实挑战：人类能几乎不费力地整合并保留跨越数小时乃至数年的持续感官体验信息，而当前模型缺乏可比拟的持续感知与记忆机制。在以语义感知与语言理解为主的视频基准上，如VideoMME[42]和VideoMMMU[53]，Gemini-2.5-Flash表现出色，准确率约为80%。然而，即便是在时长为60分钟、且完全处于其上下文范围之内的VSI-SUPER视频上，该模型在VSR和VSC上的成绩仍然有限——分别只有41.5和10.9。如图6所示，该模型给出的物体计数预测并未随视频长度或真实物体数量而增长，而是饱和在一个较小的常数附近，这表明其计数能力缺乏真正的泛化性，并高度依赖训练数据分布的先验。

表1｜Gemini-2.5-Flash的评测结果。作为具备长上下文能力的最先进视频理解模型，Gemini在一般视频基准上表现强劲，但在空间超级感知方面展现出了明显的局限。

图6｜Gemini-2.5-Flash在VSC任务上预测结果与真实值的可视化对比。模型预测的物体数量饱和在一个较小的常数附近，无法随视频长度或真实物体数量的变化而伸缩，这说明其计数能力泛化有限，并且高度依赖训练分布先验。

VSI-SUPER如何挑战当前范式。
尽管任务设定本身看起来很简单，VSI-SUPER所带来的挑战远不止于空间推理层面，而是揭示了当前MLLM范式的一些根本性局限。

VSI-SUPER中的任务对“只要扩展规模就必然带来进步”这一信念提出了挑战。

通过允许任意长的视频输入来模拟流式认知的动态过程，VSI-SUPER被有意设计为可以超出任何固定上下文窗口。这一设计暗示：将视频逐帧离散为token并逐帧处理，从计算角度而言不太可能成为可持续的长期解决方案。人类通过高效且自适应的方式来解决此类问题：只对极小一部分感官输入进行选择性关注与保留（例如，每只眼睛的600万个视锥细胞理论上可传输约1.6 Gbits/s的信息，但大脑仅使用约10 bits/s来指导行为[62, 163]），而这一过程往往是在无意识状态下完成的[40, 130]。这种以预测和选择性处理为核心的机制，是人类认知的关键组成部分，而当前MLLM中仍然缺失这一点；但它恰恰是预测式世界模型的基础。

VSI-SUPER中的任务还要求模型在测试阶段对全新的时间与空间尺度进行泛化。

例如，VSC要求模型在任意长度的视频中进行计数，这类似于人类只要理解了“计数”的概念，就可以自然地将其扩展到任意大的数字。关键不在于维持一个极其巨大的上下文窗口——人类并不会保留长时间视觉体验中的每一个细节——而在于学习“计数这一过程”本身。预测式感知通过将连续的视觉流划分为若干连贯事件，并利用“惊讶时刻”来施加时间结构，从而促进这一过程。这种分段机制相当于一种“分而治之”的策略，使得模型能够在动态变化的场景中决定何时启动、持续或重置某种行为。

这些挑战综合了计算效率、泛化能力以及无意识推断和预测式感知等认知机制层面的问题，共同指向一种范式转变的必要性。未来的模型不应再仅仅依赖“扩大数据规模、参数数量或上下文长度”，而是应当学习能够在无尽展开的时空视觉世界中进行感知与预测的内部世界模型。

为了进一步论证这一范式转变的必要性，下一节将考察：在现有范式之内，通过更精细的工程设计与有针对性的数据构建，仍然能在多大程度上取得进展。我们评估现有MLLM框架能否通过适配来应对VSI-SUPER提出的这些挑战。尽管这些工作仍然是在当前框架的限制下开展的，但它们对于构建下一代空间超级感知模型所需的数据基础和经验基础而言，是不可或缺的。

这整段其实在做三件事：

1. 正式提出 VSI-SUPER 是什么、为啥要做它；
2. 定义两个核心任务：VSR 和 VSC；
3. 用 Gemini-2.5 的实验证明：这个基准对现有大模型真的很难，同时揭示当前“靠堆规模”的范式有问题。

可以这样理解：

1. 空间超级感知的四个层级 → 现有基准只考前半截

作者前面说过：

• 真正的“空间超级感知”需要：

  1. 语义感知（认物体、说属性）；
  2. 流式事件认知（持续看、持续理解）；
  3. 隐式3D空间认知（脑子里有三维世界）；
  4. 预测式世界建模（预判未来，靠“惊讶”组织记忆和感知）。

但他们在 2.1 小节做诊断后发现：

• 大部分视频 benchmark 其实只考：

  • 语言理解＋语义感知；
  • 或者是通过“堆字幕 + 语言先验”就能搞定。

• 真正要模型：

  • 记住长时间跨度的视频；
  • 理解空间结构和物体位置变化；
  • 甚至根据“意外事件”来组织记忆 —— 几乎没人考。

VSI-Bench 算是往前迈了一小步，但视频很短、场景单一，也还没真正规范化“世界预测”这个问题。 于是他们说：

我们来专门设计一个新基准：VSI-SUPER，用来“硬刚”空间超级感知。

---

2. VSR：在超长视频里找“针”，而且要按顺序记住“针在哪里”

VSR 的核心故事：

• 有人拿室内“走来走去”的房间漫游视频；

• 用 Gemini 这种图像编辑模型，在四个时间点上悄悄塞进某个“奇怪东西”（比如泰迪熊）；

• 把这段编辑过的视频再和其他房间漫游视频拼起来，变成 10min 到 240min 的超长视频；

• 问模型：

  • 你告诉我：这个奇怪的东西第一次出现在哪个地方？第二次在哪？第三次、第四次呢？

这就像语言里的“needle-in-a-haystack (NIAH)”压测：

• 但以前 NIAH 多是插一段无关文本/帧；
• 这里他们是把“针”直接嵌进真实画面里，保证视觉上的真实感和自然性；
• 还加了一层难度：要按顺序回忆 → 多跳推理；
• 而且视频可以拉到几小时长，专门看你能在多长的时程上保持有效记忆。

对人类来说：

你看一段“房间参观”vlog，记住那只奇怪出现在各个房间的熊……不难。 对模型：就很要命。

---

3. VSC：在多房间、多视角、长视频里“持续数东西”

VSC 的故事：

• 拿 VSI-Bench 里的多个“房间漫游”视频拼接；

• 让模型在一个超长、多房间、多视角的视频里，数“总共有多少个目标物体”；

• 难点：

  • 视角不断变；
  • 同一个物体会重复出现；
  • 场景会切换；
  • 你得避免“重复计数”或“漏算”。

对人类来说：

• 数数这个概念一旦学会，就可以数到任意大，很自然。

作者准备后面证明：

• 现有 MLLM 不是真的“会数”，只是学到了一堆统计模式；
• 一旦视频超级长、分布和训练数据有差异，数数就会崩。

他们还做了两件事：

1. 不只在视频最后提问，还在中途不同时间点问，以模拟“流式问答”；
2. 提供多种视频长度（10/30/60/120min），用MRA指标来看的更细。

---

4. 用 Gemini-2.5 打个样：长上下文强如它，也顶不住

作者拿 Gemini-2.5-Flash 来压测 VSI-SUPER：

• Gemini-2.5 的上下文窗口能到 $1,048,576$ tokens，非常夸张；

• 但做两小时视频时还是“卡上下文上限”；

• 这印证了他们的观点：

  视频理解本身是开放的：流可以无限长，你不可能指望“无限长上下文＋逐帧 token”就行了。

表现上：

• 在那种“偏语言/语义”的视频基准上（VideoMME, VideoMMMU），Gemini-2.5 能冲到 80% 左右；

• 但在 VSI-SUPER 里，就算是 60min（远在上下文范围之内）的视频：

  • VSR 只有 41.5；
  • VSC 只有 10.9；

• 看 VSC 的预测曲线（图6）：

  • 预测出来的“物体数量”基本就是一个小常数，不会随视频时长或真实物体数增加；
  • 典型的“记不住，只能靠训练数据里见过的常见数字来猜”。

这说明：

• 现有模型的“长上下文能力”，更多像是一种“长文本串接能力”；
• 离“真正持续的空间感知＋记忆＋预测”还很远。

---

5. VSI-SUPER 想说明的“范式层面问题”

作者总结说：

1. VSI-SUPER 对“只靠扩展规模就够了”提出了实证挑战。

   • 视频可以任意长 → 任何固定上下文迟早会“爆”；
   • 单纯增加 tokens / 上下文 / 模型大小，不是长久之计。

2. 人类不是靠“全量记忆”，而是靠“预测式选择＋事件分段”。

   • 眼睛理论上信息带宽极大，但大脑真正用来指导行为的信息量非常小；

   • 剩下的靠“预测＋惊讶”机制：

     • 平凡的、不出乎意料的东西就忽略；
     • 出乎预期的时刻触发注意与记忆；

   • 模型如果想在长时程视频里“活下来”，也需要类似机制。

3. VSC 这样的任务要求“学会计数过程”，而不是“记住很多帧”。

   • 人不会记下每一帧细节，而是学会一个“操作流程”：看到新物体 → 更新计数；
   • 这类“过程性知识”更像是世界模型里的“程序/策略”，而不是单纯上下文嵌入。

于是他们提出一个方向：

未来的模型要学的是“内部世界模型”：

• 在无穷展开的空间＋时间中
• 持续地感知、预测和筛选
• 而不是一味把上下文拉得越来越长。

3 在当前范式下的空间感知

如上一节所示，Gemini-2.5-Flash在空间感知任务上的表现并不理想（见表1）。这一现象引出了一个关键问题：空间感知能力受限，是否“只是一个数据问题”？这个问题是有意义的，因为当前视频MLLM在训练时并未显式地优先使用“空间特征突出”的视频，而且现有的预训练与后训练设计是否适合我们所关心的这些任务，目前仍不清楚。我们首先对Cambrian-1[124]从架构和训练策略两个方面进行一系列改进，以构建一个更强大的图像型MLLM作为基础模型（第3.1节）。接着，我们构建了一个大规模、以空间为重点的指令微调数据集VSI-590K（第3.2节）。该数据集从多种数据源中精心筛选构建，并经过细致标注。由于目前尚不存在此类公开数据集，VSI-590K旨在为空间感知提供坚实的数据基础。最后，结合经过改良的训练策略（第3.3节），我们提出了空间对齐的Cambrian-S模型家族（第3.4节）。

Cambrian-S模型家族在VSI-Bench[148]等既有空间推理基准上表现出色，并为空间超级感知中的基础模型设计、数据构建与训练策略提供了有价值的经验。然而，尽管取得了这些进展，这一路径并未直接解决VSI-SUPER中的持续感知挑战（第3.5节）；它更多地是为第4节提出的新范式奠定了重要基础并提供了动机。

Gemini-2.5-Flash 在 VSI-SUPER 之类的空间任务上翻车； 于是提出一个非常合理的怀疑：

• 会不会只是因为训练数据不够“空间导向”？

• 现有的预训练/后训练流程，根本没针对这种“持续空间感知”的任务设计？

3.1 基础模型训练：升级版Cambrian-1

我们从构建一个图像型MLLM基础模型入手，因为强健的语义感知能力是更高层空间认知的基础。我们沿用Cambrian-1[124]的两阶段训练流程。我们将视觉编码器升级为SigLIP2-SO400m[128]，并将语言模型升级为指令微调版本的Qwen2.5[145]。在视觉—语言连接模块上，我们采用了结构简单的两层MLP，主要出于计算效率的考虑。除上述调整之外，Cambrian-1原有的训练组件（包括超参数设置与数据配置）均保持不变。完整实现细节见附录D节。

3.2 空间视频数据构建：VSI-590K

众所周知，数据的质量与多样性在MLLM训练中起着至关重要的作用[124, 93]。我们假设，模型在VSI-Bench[148]上的性能差距主要源于当前指令微调数据集[161, 32]中缺乏高质量、空间对齐的数据。为弥补这一缺口，我们构建了VSI-590K——一个旨在提升视觉—空间理解能力的大规模指令微调数据集。

数据构建与处理。 我们从多种不同来源与类型的数据（即仿真数据与真实数据）中构建VSI-590K。 各数据源的详细信息以及每个子数据集中视频、图像与问答对数量的统计见表2。 我们发现，与从单一来源构建的、规模相近的数据集相比，这种多源构建方式带来了显著更强的鲁棒性。 下面我们详细介绍数据处理流程。

表2｜VSI-590K数据统计。 我们从10个不同的视频类型与标注形式的数据源中采集数据，以提升数据多样性。

• 带标注的真实视频。 多模态视觉—空间推理依赖于对三维几何与空间关系的扎实理解。借鉴VSI-Bench的做法，我们重利用了若干提供三维实例级标注的室内扫描与第一视角视频数据集的训练划分，包括S3DIS[4]、ScanNet[33]、ScanNet++ V2[153]、ARKitScenes[12]以及ADT[102]。对于每个数据集，我们将其标注统一整合为一个元信息文件，其中包含场景层面的属性，如按类别统计的物体数量、物体的边界框、房间尺寸以及相关元数据。随后，我们基于这些元信息自动实例化问题模板，从而生成相应的问句。

• 仿真数据。 由于三维标注数据的可得性有限，仅依赖真实标注视频构建一个大规模且多样化的三维标注SFT数据集是非常困难的。借鉴SIMS-V[13]，我们使用具身仿真环境程序化生成具有空间对齐属性的视频轨迹及问答对：在ProcTHOR[36]场景中渲染了625条视频遍历轨迹，这些场景具有多样的布局、物体配置与视觉外观。我们将同样的方法应用于Hypersim[113]，从其中461个室内场景中采样5,113张图像。利用实例级边界框，我们生成与真实视频标注设定一致的问答对。

• 无标注的真实视频。 尽管从网络获取的视频缺乏显式标注，但它们在室内环境类型、地理区域以及空间布局方面具有极其丰富的多样性。 我们从YouTube收集了约19K个“房间参观（room tour）”视频，并额外引入了机器人学习数据集中的视频，包括Open-X-Embodiment[100]和AgiBot-World[16]。由于这些视频不包含构建空间指令微调数据所需的三维标注，我们设计了一条伪标注处理流程。如图7所示，我们首先对视频帧进行子采样与筛选，随后依次应用目标检测模型[80]、分割模型[109]和三维重建模型[133]来生成伪标注图像，其整体流程参照SpatialVLM[21]。我们选择在图像层面而非完整视频层面生成标注，这是因为基于识别与重建模型得到的全视频伪标注往往噪声过大，不利于训练。

图7｜VSI-590K数据构建流程。 我们从带三维标注的真实与仿真视频源中采集数据，并从网络视频中抽取帧后生成伪标注图像。 随后，我们利用多样化模板自动生成用于指令微调的问答对。

问题类型定义与模板扩展。 我们在一个时空分类体系下定义了12类问题，用以构建内容全面且多样的指令微调问题集。其中，我们定义了五类主要问题：大小（size）、方向（direction）、计数（count）、距离（distance）以及出现顺序（appearance order），并依据[148]将其粗略归为配置（configuration）、度量（measurement）和时空能力（spatiotemporal）三大类。除出现顺序类问题外，其余各类问题均包含相对（relative）与绝对（absolute）两种变体，以体现这两种互补推理形式在视觉—空间理解中的重要性[148]。例如，在“大小”这一类别中，我们既会询问两个物体孰大孰小（相对），也会询问单个物体的具体尺寸（绝对）。为提升多样性，我们在设问时对方向与距离类问题采用不同视角。例如，一个距离问题既可以问“哪一个物体更靠近相机”，也可以问“哪一个物体更靠近第三个参考物体”。同时，我们还通过变换问题措辞与度量单位（如米与英尺）进一步丰富数据集。关于数据集的更多细节见附录C节。

VSI-590K数据源消融分析。 为评估VSI-590K数据集的有效性，我们进行了一项消融实验：使用LLaVA-Video-178K[161]中部分视频指令微调样本，对第3.1节中改进后的Cambrian-1 MLLM进行微调。 该模型作为表3中的基线。 我们通过在各单独数据源以及它们的组合上分别微调模型来评估每种数据源的贡献。 在视频空间推理任务上，VSI-590K Full Mix取得了最高的整体性能，优于基线模型以及所有仅使用单一数据源的模型。 所有数据源在微调后都带来了正向收益，只是效果大小有所差异。

从效果排序来看，各类数据的有效性依次为：带标注真实视频 $>$ 仿真数据 $>$ 伪标注图像。

这说明，对于空间推理而言，视频在本质上比静态图像携带的信息量更丰富，因为仅在视频数据上训练的模型，在视频与图像两类空间推理基准上都表现更优。 这一发现印证了一个直观判断：视频的时间连续性和多视角多样性，是构建鲁棒空间表征的关键要素。

表3｜VSI-590K混合数据中不同数据源的贡献。 该表展示了不同数据源对VSI-Bench性能的影响。 其中，组合数据集VSI-590K Full Mix获得了最佳整体表现。 在各单一数据源中，带标注真实视频数据集贡献最大，其次是仿真视频，再其次是伪标注图像。

这小节的核心是：为了让模型真的“会看空间”，我们得先给它对的训练数据——而这种数据以前根本没成规模。 可以拆成三层来看：

---

1. 为什么要做 VSI-590K？

作者的观察是：

• 现有指令微调数据集（比如 LLaVA-Video-178K 那类）

  • 大量是“看图说话、看视频讲故事”的指令；
  • 但对精确空间关系、三维几何、计数、距离、大小、出现顺序这些内容，覆盖很弱。

• 然后他们在 VSI-Bench 上看到：

  • 模型表现明显不如期望。

于是提出一个假设：

模型在空间推理上的短板，很可能主要是因为训练时没有足够“空间对齐”的数据。

所以 VSI-590K 的目标就是：

• 做一个专门为“视觉–空间理解”设计的大规模指令微调数据集；
• 以后谁要做空间超级感知，都可以用它当“地基”。

---

2. VSI-590K 的数据从哪来？怎么做干净？

他们用了三大类数据源：
(1) 带精确 3D 标注的真实视频

这部分是“含金量最高”的：

• 来自一些做 3D 室内/扫描/第一视角的视频数据集：

  • S3DIS, ScanNet, ScanNet++ V2, ARKitScenes, ADT 等；

• 这些数据集本来就有：

  • 物体实例级标签、三维边界框、房间尺寸等等。

做法是：

1. 把这些标注都整理成统一的“元信息文件”：

   • 某个场景里：

     • 有哪些类别的物体；
     • 每个物体的框；
     • 房间大概有多大；
     • 其它元数据。

2. 然后用问题模板自动生成各种问句：

   • 比如：

     • “这个房间里有多少张桌子？”
     • “书架在沙发的左边还是右边？”
     • “门更靠近相机还是更靠近沙发？”

这部分是真·“干净且空间准确”的数据。

(2) 仿真环境里的“具身视频 + QA”

3D 标注的真实视频太少，于是他们把 SIMS-V 的思路搬过来：

• 用具身模拟器（ProcTHOR）生成 625 条“在室内场景里走来走去”的视频；

• 这些场景可以随便配：

  • 房间布局不同；
  • 物体摆放不同；
  • 外观风格不同；

• 有了完整的 3D 信息，就能自动生成大量 QA：

  • 例如“冰箱离水槽有多远”，“左侧最靠里的椅子是哪一把”。

同时，他们还对 Hypersim 做了一样的处理：

• 从 461 个室内场景中采样 5113 张图像；
• 利用实例级 bounding box 生成与真实视频那一套一致的问答对。

这一块的好处：量大、可控、三维信息齐全。

(3) 没有标注的网络视频 → 伪标注图像

这部分主要是为了“多样性”：

• 从 YouTube 抓了约 19K 个 room tour 视频；

• 再加上一些机器人数据集里的视频（Open-X-Embodiment, AgiBot-World 等）；

• 这些视频没有人工 3D 标注，但场景非常多样：

  • 各种国家、各种户型、各种装修风格。

怎么办？ 他们搞了一条 “伪标注流水线”：

1. 对视频帧做子采样和筛选（避免太多重复帧）；

2. 用：

   • 目标检测模型
   • 语义/实例分割模型
   • 3D 重建模型
     去推断每帧里有什么、在什么位置、大致空间结构；

3. 但他们只在“图像层面”做伪标注，不敢给整段视频都自动标，原因很现实：

   • 全视频伪标注噪声太大，会带坏训练。

然后，再像前面一样用模板生成问答对。

---

3. 问题类型怎么设计，才能真的“训练空间感知”？

他们不是随便凑几个 QA，而是：

• 按一个“时空问题分类体系”设计了 12 类问题；

• 其中 5 类核心问题是：

  1. 大小（size）
  2. 方向（direction）
  3. 计数（count）
  4. 距离（distance）
  5. 出现顺序（appearance order）

又根据 [148] 把它们归到三大能力维度：

• 配置（configuration）：谁在谁左边／前面、物体如何摆放；
• 度量（measurement）：多大、多远；
• 时空（spatiotemporal）：先后顺序、时间上的变化。

很关键的一点：

• 除了“出现顺序”以外，其它几类问题都设计了：

  • 相对（relative）版本：

    • “桌子比椅子大吗？”
    • “A 离门比 B 更近吗？”

  • 绝对（absolute）版本：

    • “这个桌子大约有多宽（米/英尺）？”

这对应作者很看重的一个点：

空间推理中，“相对推理”和“绝对推理”是两种互补的能力，都很重要。

另外，他们还从两个方面增加多样性：

1. 问题视角：

   • 有的以“相机”为参照；
   • 有的以“第三个物体”为参照。

2. 表达多样：

   • 问句换不同说法；
   • 单位换“米 / 英尺”。

---

4. 消融实验想说明什么？

作者做了一个很“工程味”的 sanity check：

1. 先拿 LLaVA-Video-178K 里的部分视频指令数据

   • 微调升级版 Cambrian-1；
   • 把这作为 baseline（表3）。

2. 再分别只用：

   • 带标注真实视频；
   • 仿真数据；
   • 伪标注图像；
   • 以及它们的组合（Full Mix）；
     对同一个基础模型做微调，看谁提升最大。

结果：

• VSI-590K Full Mix（全部数据一起上）

  • 在视频空间推理任务上表现最好；
  • 比只用 LLaVA-Video-178K 的 baseline 强，也比每个“只用一种数据源”的版本更强。

• 所有数据源都有正向贡献，但强弱不同：

  • 贡献排序：

    • 带标注真实视频 $>$ 仿真视频 $>$ 伪标注图像。

解释：

• 视频天生比单图更适合学空间推理；
• 真 3D 标注的视频最宝贵，因为空间信息最准确；
• 仿真视频次之，但能大幅补量；
• 伪标注图像也有用，但噪声大一些，效果相对弱一点。

这也印证了作者的一个核心直觉：

时间连续性 + 多视角多样性 是学好空间表示的关键， 而这些恰好是“视频”相对“图像”的优势所在。

3.3 面向空间感知的后训练（微调）策略

我们进一步分析并做消融实验的是我们的视频指令微调流程，重点考察预训练视频基础模型与指令微调数据混合配方各自的作用。如表4所示，我们从四个基础模型出发，它们在视频理解能力上呈逐级递增的关系：

• A1 仅在Cambrian-1的对齐数据上进行图文对齐训练；训练过程中语言模型被冻结不动，因此与基础QwenLM完全相同。
• A2 在A1的基础上进一步进行图像指令微调，本质上就是我们改进后的Cambrian-1。
• A3 以A2为初始化，在429K条视频指令微调样本上继续微调。
• A4 同样以A2为初始化，但在300万条视频指令微调样本上进行微调。

随后，我们在两种不同的数据配方下对上述模型进行进一步微调：（1）只使用VSI-590K；（2）使用VSI-590K与数量相近的通用视频指令微调数据的混合。

表4｜面向空间感知的后训练策略探索。 我们考察了四个在视觉数据暴露量上依次递增的基础模型，它们从仅图像训练到大规模视频训练不等，并在两种不同的数据配方下分析它们在空间感知微调过程中的表现趋势差异。 A1：仅训练视觉—语言连接模块以实现图文对齐； A2：在A1基础上使用Cambrian-7M图像指令微调数据进行微调； A3：在A2基础上进一步使用429K条视频指令微调样本进行微调； A4：在A2基础上进一步使用300万条视频指令微调样本进行微调。 从A1到A4，模型的视频理解能力呈单调提升趋势。 其中，I-IT与V-IT分别表示在图像数据与视频数据上的指令微调。 最终，我们证明了基础模型越强，在空间感知任务上的SFT表现也越好。

更强的基础模型（在通用视频数据上暴露量更大）在SFT后会带来更好的空间感知表现。

如表4所示，当基础模型本身在VideoMME[42]和EgoSchema[87]等通用视频基准上表现良好时，在其之上进行SFT能够显著提升空间理解能力。 这一结果凸显了基础模型在训练阶段广泛接触通用视频数据的重要性。

将通用视频数据混入，可以避免“只在单一领域微调”所导致的泛化性能下降。

进一步地，虽然仅在VSI-590K上进行“领域内SFT”可以在VSI-Bench上取得最高性能，但这会导致模型在通用视频基准上的表现明显下降。 然而，通过在包含通用视频数据的混合数据集上进行训练，可以有效缓解这种性能下降。

这一小节在回答两个很具体、很工程的问题：

1. 基础模型本身有多强，会不会影响后面空间感知微调的上限？
2. 只在“空间数据”上硬微调，会不会把模型变成“只会空间题，但别的都忘了”的偏科选手？

他们的做法很系统，类似于你自己做实验时的 baseline → stronger base → ablation 设计。

---

1. 先造四种“梯度增长”的基础模型 A1–A4

从弱到强，大致是这样：

• A1：

  • 只训练了 vision–language connector 做图文对齐；
  • 语言模型整个是冻住的 QwenLM；
  • 只算是“能看图+对齐到文字”，谈不上“会用指令”。

• A2：

  • 在 A1 基础上做了图像指令微调（Cambrian-7M）；
  • 这就是“升级版 Cambrian-1”；
  • 已经是一个比较像样的 image-MLLM 了。

• A3：

  • 从 A2 出发，再用 429K 条视频指令数据微调；
  • 变成“稍微懂视频”的模型。

• A4：

  • 也是从 A2 出发，但用 300 万条视频指令微调；
  • 这就是“视频暴露最多、视频理解能力最强”的 base。

他们用这条链路，构造了一条“视频能力单调增强”的序列：A1 → A2 → A3 → A4。

---

2. 再用两种“数据配方”做空间感知 SFT

在每个基础模型上，他们又做了一轮“空间任务相关的微调”，用的是你上一节看到的 VSI-590K。

两种配方：

1. 只用 VSI-590K：

   • 纯“空间导向”的指令数据；
   • 好处：力气都花在空间能力上；
   • 风险：容易在其它通用视频任务上退化。

2. VSI-590K + 通用视频指令数据：

   • 让模型既吃“空间高密度的数据”，又保留对一般视频理解的营养；
   • 目标是：不偏科。

---

3. 结论一：基础模型越强，空间感知 SFT 的效果越好

他们发现：

• 从 A1 到 A4，随着基础模型先在图像上、再在视频上被“锻炼”得越来越强；
• 在相同的空间感知 SFT（同样的 VSI-590K / 配方）下，性能是单调变好的。

换句话说：

在空间任务上做指令微调时， “底座有多强”非常关键。

特别是：

• 如果基础模型本身已经在 VideoMME, EgoSchema 这类通用视频 benchmark上表现不错；
• 那么你在它上面再做空间相关的 SFT，会明显收益更大。

这和你做自己项目时的直觉是一致的：

• 基础 feature 表征越好，后面下游 task 的 finetune 越轻松、上限越高。

---

4. 结论二：只在空间数据上猛练，会造成“泛化退化”；混合通用视频能救回来

他们还观察到另一个很实际的问题：

• 如果只在 VSI-590K 上做 in-domain SFT：

  • 在 VSI-Bench 上表现最好（空间 benchmark 冲到最高）；
  • 但在 通用视频基准上表现明显掉队。
  • 这很像“过拟合到空间题”：空间超强，但一般视频理解被牺牲了。

• 如果在 SFT 时加上通用视频指令数据（和 VSI-590K 混在一起）：

  • 在 VSI-Bench 上仍然可以保持较强甚至接近最强的表现；
  • 同时通用 benchmark 上的退化大幅减轻。

翻成人话就是：

“只刷空间题”可以让你空间成绩爆表，但综合素质会掉； 哪怕在训练里混一点“普通视频题”， 也能让你成为一个“空间强但不偏科”的选手。

3.4 Cambrian-S：空间对齐的多模态大模型（MLLMs）

在前述所有观察与分析的基础上，我们提出了Cambrian-S——一个由多种规模组成的、空间对齐的模型家族，其LLM参数规模包括0.5B、1.5B、3B和7B。 这些模型通过一个四阶段训练流程构建而成：该流程首先致力于建立通用语义感知能力，然后再发展专门的空间感知技能，如图8所示。

前两个阶段遵循Cambrian-1的框架，用于训练模型的强大图像理解能力。 在第三阶段，我们通过在CambrianS-3M数据集上进行通用视频指令微调，将模型扩展到视频领域。CambrianS-3M是一个精心构建的数据集，包含300万条样本（其具体构成见图16）。 这一阶段在引入专门空间技能之前，为通用视频理解奠定了坚实基础。 在最后也是至关重要的第四阶段，模型会专门针对空间感知能力进行训练。 在这一阶段，我们在混合语料上对模型进行微调：该语料由专门的VSI-590K与第三阶段中所用通用视频数据的一个按比例抽取子集共同组成，其具体设定见表4。 完整的训练细节见附录D.3节。

图8｜Cambrian-S整体训练流程示意。第1与第2阶段用于增强图像理解，第3阶段提升通用视频理解，第4阶段强化空间感知能力。

这段其实就是在把前面两节的东西“合起来落地”：

我们到底是怎么造出一整个“空间感知专长”的 Cambrian-S 模型家族的？

可以这样理解：

1. Cambrian-S 是什么？

• 是一族多模态模型（家族），而不是一个单一模型；

• LLM 部分有不同规模：0.5B、1.5B、3B、7B —— 方便你在不同算力预算下选用；

• 关键词是：spatially-grounded（空间对齐）：

  • 也就是它们被专门训练过空间相关的技能：

    • 看视频时，对“哪里有什么、东西多大、方向如何、先后顺序怎样”等有更强理解。

2. 四阶段训练流程在干啥？（“打地基 → 加楼层 → 装修空间技能”）

你可以把四个阶段想象成“建一栋高楼”的流程：

1. 阶段 1 & 2：打地基 +盖主体结构（图像理解部分）。

   • 完全沿用 Cambrian-1 的两阶段：

     • 阶段 1：图文对齐，让模型看图能对上文字；
     • 阶段 2：图像指令微调，让模型“看图听指令、会回答”。

   • 目标：

     • 让模型先成为一个“图像多模态基础模型”，语义感知要够强。

2. 阶段 3：扩展到视频（通用视频理解）。

   • 数据集叫 CambrianS-3M：300万条精心挑的“通用视频+指令”样本； * 在这一步，模型主要学习：

     • 怎样理解时间连续的画面；
     • 怎样在一般视频任务上（例如讲解、回答问题、总结）表现良好。

   • 这一步的定位是：

     “先长成一个通用的视频大模型”， 然后再考虑“专精空间感知”。

3. 阶段 4：空间感知专项训练（真正变成 Cambrian-S 的关键一步）。

   • 用的数据是一个混合语料：

     • 主要是你刚读完的 VSI-590K（空间导向数据）；
     • 再加上一部分第3阶段用的通用视频数据（按比例抽样）；

   • 这么做的目的是：

     • 既要让模型在空间任务上变得很强；
     • 又不想彻底丢掉通用视频理解能力（避免“空间很强但其它任务退化”）。

   • 这一步在结构上对应你前面读过的第 3.3 节里的结论：

     • 基础模型强 + 合理的数据配方 → 空间感知 SFT 效果最好。

3. 图 8 和 表 5 想说的是什么？

• 图 8：

  • 是整个训练流程的“线路图”：

    • 阶段1–2：图像理解；
    • 阶段3：通用视频理解；
    • 阶段4：空间感知强化。

  • 对你写文档/讲解时特别好用：

    • 可以直接当“方法概览图”放在 Method Section 开头。

• 表 5：

  • 把 Cambrian-S 和其他主流 MLLM（闭源 + 开源）做了横向对比；

  • 结果：不管在图像空间任务还是视频空间任务上，

    • Cambrian-S 在同等或相近规模下都更强。

  • 评测细节里，他们统一做了一件事：

    • 视频输入一律采样 128 帧，保证不同模型之间公平比较。

3.5 实证结果：空间认知能力的提升

接下来，我们对Cambrian-S多模态模型进行评估，以考察这种数据驱动方法的优点与局限。

表5｜Cambrian-S与其他主流MLLM的对比。Cambrian-S在一系列图像与视频的视觉—空间基准及不同模型规模下，均优于现有的闭源与开源模型。进行视频评估时，我们统一采样128帧作为输入。详细的评测设定见附录E节。

空间认知能力的提升。 如表5所示，我们的模型在视频视觉—空间理解方面达到了当前最优水平。在VSI-Bench上，Cambrian-S-7B取得了67.5%的成绩，显著优于所有开源模型，并且比闭源的Gemini-2.5-Pro高出超过16个绝对百分点。鉴于本节的工作可以被视为一次数据规模扩展实验，一个自然的问题是：这些性能提升是否只是由于覆盖了更广泛的数据（包括更加多样的视觉配置与问答对），还是模型实际上学到了更强的空间认知能力？首先，我们强调：VSI-590K与这些基准数据集之间不存在数据重叠。尽管部分数据集来自同一数据源（例如ScanNet），但我们只使用训练划分，而各基准则使用验证和测试划分。此外，我们在空间推理上观察到了清晰的泛化迹象。例如，在具有挑战性的“路径规划（Route Planning）”子任务中，由于标注成本较高，VSI-590K中并不包含对应的问题类型，但Cambrian-S-7B在该任务上依然表现出色，并且随着模型规模增大展现出明显的性能提升趋势（见表6）。

表6｜VSI-Bench子任务细分结果。最佳结果以粗体标出。值得注意的是，即便在训练中未使用任何路径规划数据，Cambrian-S-7B在该子任务上仍优于Gemini-1.5-Pro。

此外，这一训练方法即便在较小模型规模下也非常有效：我们最小规模的0.5B模型在VSI-Bench上的表现已可与Gemini-1.5 Pro相媲美。更为重要的是，这种对空间推理的强调并没有以牺牲通用能力为代价：在Perception Test[103]和EgoSchema[87]等标准视频基准上，Cambrian-S依然保持了具有竞争力的表现（完整结果见表14）。

Cambrian-S在空间感知性能上达到了当前最优水平，对未见过的空间问题类型具备稳健的泛化能力，同时在通用视频理解上仍保持竞争力。

在VSI-Bench-Debiased上的稳健空间推理。 近期一项研究[14]表明，模型在空间推理任务中可能严重依赖语言先验。 例如，当被要求估计一张桌子的长度时，模型可能会利用其关于桌子通常尺寸（例如120–180厘米）的世界知识，而不是认真分析视觉证据。 为检验Cambrian-S是否真正学会了基于视觉进行推理，我们在VSI-Bench-Debiased[14]上对其进行评估；该基准通过去偏设计来刻意消除语言捷径。 如表5所示，尽管相较于标准VSI-Bench，模型在该基准上的性能下降了约8个百分点，但仍然优于闭源模型，这表明Cambrian-S具备稳健的视觉—空间推理能力，也证明了我们的训练确实超越了单纯基于语言的学习。

在VSI-Super上的结果：持续空间感知方面的局限。 尽管Cambrian-S在来自VSI-Bench的短时、预分段视频上的空间推理任务中表现优异，但它并未做好应对“持续空间感知”的充分准备。 这一局限主要体现在两个方面。 首先，模型在长视频上的性能会显著退化。 如表7所示，在以1 FPS采样、流式设定下对其进行VSI-SUPER评估时，随着视频长度从10分钟增加到60分钟，模型得分从38.3%持续下降到6.0%，而在超过60分钟的视频上则完全失效。 其次，模型难以对新测试场景进行有效泛化。 尽管它已经在多房间的房屋参观视频上接受过训练，但在仅仅增加少量新房间的未见样本上，模型仍然表现不佳。 这一问题并不只是上下文长度不足所致：即便是长度仅为10分钟、完全处于模型上下文窗口范围内的视频，性能也会出现下降。 这些结果表明，在当前MLLM框架下，完全依赖数据驱动的方法——无论投入多少数据与工程努力——都存在根本性的上限。 要真正解决这些局限，亟需转向一种新的范式：构建能够主动建模与预测世界、并更高效组织自身经验的AI系统；我们将在下一节对这一方向进行探讨。 扩展数据与模型规模固然必要，但仅依靠这一点无法实现真正的空间超级感知。

表7｜Cambrian-S-7B在VSI-SUPER上的结果。尽管其在VSI-Bench上表现强劲，但在VSR上，准确率从10分钟视频的38.3%急剧下降到超过60分钟视频时的0.0%，而在VSC任务上则完全失败。需要注意的是，VSI-SUPER侧重持续的流式评估，因此从整段视频均匀采样128帧的做法并不符合在线设定；表中以灰色标示的结果仅供参考。

这一小节的主线很清晰：

1. 先证明 Cambrian-S 在空间推理上真的很强，而且不是靠“背题”；
2. 再指出：即便这样，它在“持续空间感知”（超长视频、流式场景）上仍然失败；
3. 然后用这个结果给下一节“范式转变（predictive world model）”做铺垫。

可以拆成几个关键点来看：

1. 在 VSI-Bench 上：Cambrian-S = 又强又小

• Cambrian-S-7B：

  • VSI-Bench 上 67.5%，
  • 比 Gemini-2.5-Pro 高出 16+ 个百分点；

• 最小的 0.5B 模型：

  • 已经能打平 Gemini-1.5 Pro；

• 而且：

  • 并没有因为“疯狂练空间题”就把其它通用视频任务搞废：

    • 在 Perception Test、EgoSchema 上，成绩仍然有竞争力。

这说明两件事：

1. 数据配方 + 训练 pipeline 是真的有效，尤其是针对视觉–空间任务；
2. 它不是简单地“又大又粗暴”：小模型都能发挥很高空间表现。

2. 它真的“会看空间”，而不是“靠语言常识蒙对”

作者非常在意一点：

模型会不会只是凭“世界常识 + 语言先验”在凑答案？

比如：

• 问“桌子大概多长？”
• 模型回答“120–180 cm”；
• 这完全可以是在“胡编合理值”， 而不是看图真测出来的。

为此，他们用 VSI-Bench-Debiased 来测：

• 这是一个专门做了“去偏”的 benchmark，

  • 设计题目时故意让“语言捷径”失效；
  • 逼你必须看图、看空间。

结果是：

• 在这个去偏版上，Cambrian-S 的成绩比原版 VSI-Bench 略降约 8%；
• 但依然比闭源对手强；

含义是：

• 是的，它确实吃了一点语言先验红利（成绩有下降）；
• 但就算把语言捷径砍掉，它还是能靠真正的视觉–空间推理站住脚；
• 说明这套训练 pipeline 不只是“喂更多 QA”，而是真的提升了视觉空间认知。

3. 但一旦变成长时程“流式空间感知”，就暴露硬伤

这部分是整节的关键转折点：

• 在 短视频 + 预分段 的 VSI-Bench 上，Cambrian-S 非常强；
• 可是换到 VSI-SUPER 这种“超长视频 + 流式/持续评估”的设定， 就惨了：

1. 随着视频长度增加，性能迅速崩塌：

   • 10 分钟：VSR 还有 38.3%；
   • 60 分钟：掉到 6.0%；
   • 超过 60 分钟：直接 0。
   • VSC 计数任务则是“彻底失败”。

2. 对新场景非常脆弱：

   • 虽然训练中看过多房间 house tour；

   • 但测试时只要加几个没见过的房间，就应对不过来；

   • 而且这不是上下文长度的问题 ——

     • 即使是 10 分钟、远在 context 上限之内的视频， 表现一样明显变差。

这说明：

就算你在“当前 MLLM 范式”里，把数据堆到几十万/几百万、 把模型做大、routine 调到最好， 仍然解决不了“持续空间感知”这种本质问题。

原因很直观：

• 现在的范式本质上还是

  • “把所有东西塞进一个巨大的上下文里，让大模型在里面算注意力”；

• 但“流式世界”本来是：

  • 没有固定长度；
  • 信息源源不断；
  • 需要丢弃大部分无关细节、只保留关键结构；
  • 需要 “预测 + 惊讶”来组织记忆 。

这些，恰恰是当前范式没有显式建模的。

4. 所以：堆数据/堆规模 ≠ 真正的空间 supersensing

最后这句总结很重要：

“扩展数据和模型规模是必要的，但仅靠这些，做不出真正的空间超级感知。”

换句话说：

• 你当然需要：

  • 大量且合理的空间数据（比如 VSI-590K）；
  • 强大的基础多模态模型（比如 Cambrian-S 四阶段 pipeline 造出来的）；

• 但想要解决 “VSI-SUPER 级别的长时程、流式空间任务”：

  • 可能必须引入一种新的机制：

    • 内部世界模型；
    • 预测未来状态；
    • 根据“惊讶”来更新记忆和注意力。

这也就自然过渡到下一节（第4节）要讲的内容：

Predictive sensing / predictive world model 作为新范式。

4 预测式感知：一种新的范式

Gemini-2.5-Flash（表1）和Cambrian-S（表7）在VSI-SUPER上的性能都出现了急剧下降，这揭示出一个根本性的“范式鸿沟”：仅仅扩展数据规模与上下文长度，并不足以实现超级感知（supersensing）。我们提出“预测式感知（predictive sensing）”作为一条前进路径，在这一范式中，模型通过学习预测即将到来的感官输入，并构建内部世界模型，以应对无边界的视觉流。这种设计灵感来源于人类认知理论。与当前将整段数据流全部分词并处理的视频多模态模型不同，人类的知觉（以及记忆）具有高度选择性，只会保留全部感官输入中的一小部分[130, 95, 52, 108]。大脑会持续更新内部模型以预测即将到来的刺激，将那些可预测、且不再提供新信息的输入压缩或丢弃[29, 41]。相反，对于违背预测的意外感官信息，大脑会产生“惊讶（surprise）”，从而引发注意力的提升与更强化的记忆编码[115, 45, 60]。我们通过一种自监督的“下一潜在帧预测（next-latent-frame prediction）”方法来原型化这一概念（第4.1节）。由此产生的预测误差被用作两个关键能力的控制信号：其一是记忆管理，用于有选择地保留重要信息（第4.2节）；其二是事件分割，用于将无边界的流式数据划分为有意义的片段（第4.3节）。我们通过在VSI-SUPER上的两个案例研究表明，相比仅依赖长上下文或流式处理的强基线视频模型，这种方法能取得显著更好的表现。

4.1 通过潜在帧预测实现预测式感知

我们通过一个轻量级、自监督的模块来实现预测式感知，该模块称为“潜在帧预测（Latent Frame Prediction, LFP）头”，并与主要的指令微调目标联合训练。具体做法是对第4阶段的训练策略进行如下改动：

• 潜在帧预测头。 我们新增一个LFP头：这是一个两层MLP，与语言头并行工作，用于预测下一视频帧的潜在表示，其结构如图9左上角所示。

• 学习目标。 为优化LFP头，我们引入两个辅助损失：均方误差（MSE）与余弦距离，用于度量预测的潜在特征与下一帧真实特征之间的差异。通过一个权重系数，将LFP损失与主任务“指令微调的下一token预测损失”进行平衡。

• 用于LFP训练的数据。 我们在第4阶段的训练数据中额外加入了来自VSI-590K的一个29万条视频子集，这部分数据仅用于LFP目标。与指令微调不同，这些视频以固定的1 FPS采样，以确保潜在帧预测在时间上有均匀的帧间间隔。

在修改后的第4阶段微调中，我们以端到端方式联合训练连接模块、语言模型以及语言头与LFP头，同时保持SigLIP视觉编码器冻结不变。其余训练设定与原始第4阶段保持一致。为简洁起见，在接下来的实验中，我们仍将带有LFP目标联合优化后的模型统称为Cambrian-S。

推理：通过预测误差估计“惊讶”。 在推理阶段，我们利用已经训练好的LFP头，对每一帧新到来的视觉输入进行“惊讶度”评估。 在心理学中，这一思路通常被称为“违反预期（Violation-of-Expectation, VoE）”范式[17]。 具体而言，在推理过程中，视频帧以固定的采样率输入Cambrian-S。 除非另有说明，后续实验中的视频在输入模型之前均以1 FPS采样。 随着模型不断接收新的视频帧，它会持续预测“下一帧”的潜在特征。 随后，我们计算该预测潜在特征与真实下一帧潜在特征之间的余弦距离。 这一距离可以作为“惊讶度”的定量指标：值越大，说明实际输入偏离模型已有预期的程度越高。 该惊讶分数作为一种强有力的自监督引导信号，将在后续章节中用于驱动下游任务。

图9｜潜在帧预测（LFP）方法的训练与推理流程。 我们的模型使用LFP头在潜在空间中预测下一帧。 在训练阶段，LFP头预测下一视频帧的潜在表示。 在推理阶段，模型通过计算LFP头的预测与下一帧真实潜在特征之间的余弦距离来衡量“惊讶度”。 对于异常物体的突然出现或场景的突变等事件，惊讶信号会出现明显的“尖峰”响应。 这一预测式感知原型使Cambrian-S在VSI-SUPER上能够更好地泛化到更长的视频，相比仅依赖扩展上下文长度的前沿模型（如Gemini-2.5-Flash）取得更优表现。

核心想法可以一句话概括：

先让模型在潜在空间里预测下一帧长什么样， 再用“预测错了多少”来衡量“有多惊讶”。

4.2 案例研究 I：用于VSI-SUPER Recall的“惊讶驱动”记忆管理系统

目前大多数MLLM对所有视频帧一视同仁，将每一帧都完整存储，缺乏选择性压缩或遗忘机制，从而限制了效率与可扩展性。在本案例研究中，我们探索如何为MLLM引入一个“惊讶驱动”的记忆管理框架，以支持在长时程视频上进行持续的空间感知问答。我们展示：借助基于惊讶的压缩机制，Cambrian-S能够在不同视频长度下同时保持稳定的准确率与稳定的GPU显存占用。

惊讶驱动的记忆管理系统。
我们的记忆管理系统会根据对“惊讶度”的估计，对视觉流进行动态压缩与整合。如图10-a所示，我们使用固定窗口大小的滑动窗口注意力对输入视频帧进行编码。随后，潜在帧预测模块为每一帧对应的KV缓存估计并赋予一个“惊讶等级”。对于惊讶等级低于预设阈值的帧，在写入长期记忆之前会进行2倍压缩。为保持稳定的GPU显存占用，我们对长期记忆施加固定大小的约束，并通过一个同样基于惊讶度运行的“整合函数”来实现：该函数会根据各帧的惊讶分数选择丢弃或合并一部分帧（见图10-b）。 最后，当接收到用户查询时，系统通过计算查询与存储帧特征之间的余弦相似度，从长期记忆中检索出前𝐾个最相关的帧（见图10-c）。 更多设计细节见附录F.2节。 尽管已有工作对长视频的记忆系统设计进行了探索[119, 159]，但我们特别关注的是将预测误差（即“惊讶”）作为指导信号的作用。

图10｜惊讶驱动的记忆管理框架设计。 该记忆系统：（a）对输入视觉流进行编码，并对低惊讶度帧进行压缩；（b）在记忆满载时，通过丢弃或合并惊讶度最低的帧执行记忆整合；（c）在回答查询时，从记忆中检索相关帧。 图中颜色深浅（深→浅）表示惊讶程度，带斜线填充的方框表示已压缩帧，实心方框表示未压缩帧。

结果。
我们在VSR基准上，将带有与不带“惊讶驱动记忆系统”的Cambrian-S，与两款先进的闭源模型Gemini-1.5-Flash[122]与Gemini-2.5-Flash[30]进行对比。如图11a所示，在所有视频长度上，带记忆系统的Cambrian-S（w/ Mem.）都优于Gemini-1.5-Flash以及不带记忆系统的Cambrian-S（w/o. Mem.），体现出跨视频时长的稳定空间感知性能。尽管Gemini-2.5-Flash在时长不超过一小时的视频上表现较强，但在更长时长的视频输入上则无法处理。除了保持较高的准确率外，带记忆系统的Cambrian-S（w/ Mem.）在不同视频长度下的GPU显存使用也保持稳定（见图11b）。这表明，基于惊讶的记忆机制能够有效压缩冗余数据，同时不丢失关键信息。我们还在表17中引入了MovieChat[119]与Flash-VStream[159]作为长视频处理的对比基线。

图11｜惊讶驱动记忆系统在VSR上的性能分析。 (a) 惊讶驱动记忆机制使Cambrian-S在视频长度增加的情况下仍然保持较强性能。 (b) 惊讶驱动记忆机制在视频变长时仍能维持稳定的GPU显存占用。 © 消融结果：将LFP预测误差作为惊讶信号比使用相邻帧相似度更加稳健，并在各视频时长设置下持续取得更好表现。

关于“惊讶度”度量方式的消融实验。
惊讶驱动记忆系统的核心在于如何度量“惊讶度”，这一机制决定了在不假设未来查询信息的前提下，系统以一种被动感知方式对帧进行压缩或整合。在这里，我们将“用预测误差作为惊讶度”的设计与另一种简单基线进行比较：基于相邻帧视觉特征相似度的测度。具体来说，我们使用SigLIP2作为视觉编码器，直接比较相邻两帧的特征差异（余弦距离）。若特征差异超过某一阈值，我们便将后一帧视为“惊讶帧”。我们在所有VSR变体上对这两种方法进行对比。对于每一种VSR时长设置，除惊讶阈值（对两种方法分别调参）外，其他实验配置均保持一致。如图11c所示，在不同视频时长条件下，使用预测误差来度量惊讶度的方式，持续优于基于相邻帧相似度的方案。

与基于逐帧特征的静态相似度度量相比，预测式感知在建模视频数据的时空动态方面提供了一种更具理论基础与原则性的方法。

尽管当前系统仅使用了一个相对简单的预测头作为初始原型，但未来若能将更强大的世界模型整合进来，有望产生更丰富、更可靠的惊讶信号，从而在空间超级感知方面取得更广泛的进展。

1. 现状问题：把所有帧都记下来 = 又贵又不扩展

• 传统 MLLM 做视频：

  • 每帧都编码、都进 KV cache； * 上下文越长，显存越爆、推理越慢； * 而大部分帧其实是重复/无聊的，比如：

    • 房间里相机慢慢移动，画面信息变化极小。

这就好像你看一个两个小时的vlog：

• 如果要逐帧记住每一秒的画面，
• 既不必要，也非常费脑。

2. 新思路：只对“让你吃惊的帧”用高规格记忆

他们的记忆系统可以简化成三步：

1. 对每一帧打一个“惊讶分”（来自前面 4.1 的 LFP 预测误差）；
2. 惊讶低的帧：压缩；惊讶高的帧：完整保留；
3. 记忆容量满了：优先丢 / 合并“最不惊讶”的那些帧。

再配合一个长期记忆池，容量固定，这样：

• 不管你视频是 10 分钟还是 2 小时，
• 所占显存都大致稳定；
• 真正的信息密度是“跟事件数量”有关，而不是“跟时间长度”线性正比。

最后，当用户提问时：

• 不是拿整条视频去算注意力；
• 而是从长期记忆里挑出跟问题最相关的 K 帧（用余弦相似度筛）；
• 再基于这一小撮关键帧来作答。

直觉上非常像人类：

看很长一段视频 → 脑子里只记得“几个关键画面/瞬间” → 回答问题时只用回想这些关键画面。

3. 为什么“预测误差型惊讶”比“相邻帧相似度”更好？

他们做了个很关键的消融：

• Baseline：

  • 直接看相邻两帧的特征差（余弦距离）；
  • 差大 → 视为“惊讶帧”。

听起来也很合理对吧？

• 比如突然切镜头、突然出现一个新物体，
• 相邻帧差异会很大。

但实验结果是：

• 在所有 VSR 时长设置里，LFP 预测误差 > 相邻帧相似度。

这说明：

• “预测误差”不仅仅在乎“画面有没有变”，

• 更在乎“画面是否偏离模型内在的世界预期”：

  • 比如相机平移导致视角慢慢变化：

    • 帧间差异其实不小，但模型可能“早就预料到会这样变”；
    • 预测误差就不会很大，惊讶度低；

  • 突然出现一个不应该在这里的东西（比如马桶在卧室中间）：

    • 预测误差会蹦得很高，惊讶度就高。

相比之下，相邻帧相似度是静态的：

• 不考虑“这变动是否符合之前学到的动态规律”；
• 任何变化都一视同仁，只看“差异大小”；
• 很容易把“正常运动”误标成惊讶，或漏掉“语义上非常奇怪的变化”。

这就对应作者那句总结：

预测式感知，比单纯的“逐帧特征相似度”， 更适合作为建模视频时空动态的原则性方法。

4.3 案例研究 II：用于VSI-SUPER Count的“惊讶驱动”持续视频切分

尽管VSR主要评估MLLM在长期观察与回忆方面的能力，但要更严苛地检验超级感知，还需要考察模型对感官输入的理解能力、在不同环境间“穿梭”的能力，以及执行累积式、多跳推理的能力。例如，模型可能需要先在一个环境中完成部分任务，再移动到另一个环境中继续观察，最后整合所有经历的信息以作出最终决策。

“惊讶驱动”的事件分割。
“事件”可以被理解为在时空上具有一致性的一段体验[64]。在空间超级感知的语境下，一个事件可以视为“处于某个特定空间并感知其环境”的一段连续体验。这一定义强调：真实的感官体验通常被组织成局部一致的片段——在这些片段中，知觉、空间和时间特征在一段时期内相对稳定或一致。由此，“事件分割”就是：根据这种（时空一致性）发生变化的时刻，将连续的感官输入流解析为离散而有意义的单元的过程。这种分割对于推理与行为至关重要[37]：它使得智能体（无论是生物体还是人工系统）能够形成结构化的经验表征，发现发生显著变化的边界，并据此更新对环境的预测。近期研究指出，预测误差和工作记忆／上下文的变化是驱动事件分割的两种潜在机制[98, 118]。

在VSI-SUPER Count（VSC）基准中，我们考察一个相对简单的设定：使用“惊讶”来对连续视觉输入进行分割，将场景变化视为自然断点，从而将整段视频划分为空间上连贯的若干片段。这一做法与人类解决问题的方式相呼应：当人在大范围区域内计数时，通常会先逐区计数，再将各区域结果合并。这种行为也与“门口效应（doorway effect）”[106]相关：穿过一扇门、进入新房间时，人们的记忆中往往产生一个自然边界。如图12所示，模型会在一个事件缓冲区中持续累积帧特征。当检测到一帧“高惊讶”画面时，缓冲区中的特征会被汇总，生成该片段层面的答案，随后缓冲区被清空以开始积累下一个片段。这一循环会持续到视频结束，之后将所有片段答案进行聚合，得到最终输出。

图12｜我们用于VSC的“惊讶驱动事件分割”框架示意图。 模型会在事件缓冲区中持续累积帧特征。 当检测到一帧高惊讶画面时，会对缓冲区中的特征进行汇总，得到该片段层面的答案，并清空缓冲区以开始下一个片段。 这一过程会重复直到视频结束，之后将各片段答案进行聚合，用于生成最终输出。 图中颜色深浅（深→浅）表示惊讶程度。

结果。
Gemini-1.5-Flash在VSC上的表现接近于零（见图13a），这反映了该任务的难度。 尽管Gemini-2.5-Flash在10分钟视频上的表现明显更好，但在更长视频上的性能会迅速下降。 相比之下，使用“惊讶驱动事件分割”的Cambrian-S（w/ Surprise Seg.）在所有视频长度上都取得了更高且更稳定的表现。 当我们使用真实场景切换信息对视频进行分割时（即Cambrian-S w/ GT Seg.），模型性能进一步提升，这可以视为该方法的近似上界。 图14中的更细致分析表明：Gemini-2.5-Flash的预测结果始终被限制在一个较小的范围内，当视频中真实物体数量增加时，其预测并不会相应扩展。 相对而言，虽然后者的计数结果尚未完全准确，但使用惊讶驱动分割的Cambrian-S（w/ Surprise Seg.）所给出的计数与真实物体数量之间相关性更强，反映出更好的泛化能力。

图13｜在VSC上的性能分析。 (a) 带有惊讶驱动事件分割的Cambrian-S在所有视频长度上都取得了比Gemini-2.5-Flash更高且更稳定的表现； (b) 消融实验：以预测误差作为惊讶度度量明显优于基于相邻帧相似度的方案； © 流式评估：尽管GPT-Realtime与Gemini-Live被宣传为“实时助手”，但在长视频上的MRA低于15%，且随时长增加几乎降为零，而我们的方法在长视频下仍保持显著更高的性能。

图14｜与逐渐饱和的Gemini相比，Cambrian-S能够随真实计数扩展到更高的物体数量。 图中将模型预测的计数与不同视频长度（10、30、60和120分钟）下的真实计数进行对比绘制。 在使用惊讶驱动分割的情况下，Cambrian-S的预测计数随真实计数大致呈线性增长，沿着$y=x$这一“完美计数”直线（灰色虚线）附近分布， 而Gemini-2.5-Flash的预测计数则始终聚集在较小数值附近，并未随着真实计数的增大而扩展，表明其在计数任务上存在早期饱和现象，且对大计数情形的外推能力较差。

关于“惊讶度”度量方式的消融实验。
我们将“惊讶驱动”的方法与基于相邻帧特征相似度的基线方法进行比较（见图13b）。对于两种方法，我们均在调参后报告其最优结果。与在VSR中的观察一致，将预测误差作为惊讶度度量的方案，在所有视频长度条件下都明显优于基于外观相似度的方案。

在流式设定下的评估。
由于VSC中的正确答案会随视频进展而不断变化，我们构建了一个流式问答设定：在同一视频上，在10个不同时间点重复提出同一个问题。模型的最终表现通过对这10次问答结果取平均来计算。我们选取了面向“实时视觉输入”场景进行宣传的商用MLLM作为对比基线。如图13c所示，尽管Gemini-Live与GPT-Realtime本身是面向流式场景设计与宣传的，但在10分钟视频上的MRA（mean relative accuracy）也不足15%，而在120分钟视频流上其性能几乎降至零。相比之下，Cambrian-S的表现明显更好：在10分钟视频流上MRA可达38%，在120分钟视频流上仍能保持约28%。

小结。
在VSR回忆任务与VSC计数任务上，通过“惊讶驱动”的记忆管理与事件分割实现的预测式感知，使得Cambrian-S能够突破第3节中所描述的固定上下文限制。尽管这一系统仍然只是一个早期原型，但它展示了这样一种AI系统的潜力：不仅能“看见”，还能“预判、筛选并组织自身的体验”。此类系统不再局限于逐帧问答，而是朝着“构建隐式世界模型”的方向发展，从而支撑更深层次的空间推理，适应无边界时间尺度，并实现可与人类视觉智能比肩、甚至最终超越的人机超级感知。

这小节是对前一节“惊讶驱动记忆管理”的自然延伸：

不只决定“哪些帧要记住”，还要决定“怎么把超长视频切成一段一段来数东西”。

你可以把它理解成： 让模型学会“看完一个房间数一遍，再换下一个房间再数，最后把总数加起来”——而不是从头到尾混在一起，糊里糊涂地记。
1. 任务：VSC 比 VSR 难在哪？

• VSR：

  • 看很长的视频，记住某些“针”在哪些地方/顺序出现；
  • 重点是“长时观察 + 回忆”。

• VSC：

  • 需要在多个房间、多个场景中持续计数；

  • 有点像：先数客厅里的杯子，再数厨房里的杯子，然后加总；

  • 这就需要：

    • 把视觉流切成多个“事件片段”；
    • 每个片段里做局部推理（计数）；
    • 最后把所有片段结果累加。

传统大模型一般不会自动做这种“事件分段”，所以一旦场景多起来、视频变得很长，就容易完全乱掉。

---

2. 事件分割：为什么要用“惊讶”来切段？

作者先给了一个比较理论的定义：

• 事件 = 在时间和空间上比较“连续一致”的一段体验；
• 比如你在一个房间里四处张望，这可以算是一个事件；
• 一旦你穿过门，进了另一个房间，就自然形成一个新事件——这就是所谓的“门口效应”。

在模型里，他们用“惊讶”来检测这些“边界”：

• 当画面突然变化很大、出现了与预测不符的内容，

  • 说明可能是：换房间、换场景、画面发生重大转折；
  • 这就是一个合理的“事件切点”。

于是整个流程变成：

1. 模型一边看视频，一边把每一帧的特征存到“事件缓冲区”；

2. 一旦出现“高惊讶帧”：

   • 把当前缓冲区里的所有特征“总结”成一个片段级的答案（比如这一段里一共出现了多少个目标物体）；
   • 然后清空缓冲区，开始一个新的片段；

3. 视频结束后，把所有片段的答案加起来，就是最终的计数结果。

这非常像人类在大空间里数东西的做法：

• 房间 A 数完记下来，
• 房间 B 数完记下来，
• 最后做 $A+B+C$。

---

3. 对比结果：为啥“惊讶切段”比直接堆上下文更靠谱？

结果很直观：

• Gemini-1.5-Flash：在 VSC 上几乎“挂零”；

• Gemini-2.5-Flash：

  • 10 分钟视频还能撑一撑，
  • 视频一长就崩盘；
  • 预测的计数“卡死”在一小段范围内，不会随真实物体数量的增加而增加（图14能看出来）。

• Cambrian-S + 惊讶分段：

  • 在所有视频长度上都更高、更稳定；

  • 如果再给它“地面真值的场景切换”帮忙（GT Seg），还能更强 —— 这是一个上界参考。

  • 在计数–真实计数坐标图上，它的点云大致沿着 $y=x$ 分布：

    • 真正物体变多，它的预测也会变多；
    • 说明它在“计数”这个概念上有一定泛化；

  • 而 Gemini 的点则粘在小数字附近，说明早早“饱和”、不会往大里推。

---

4. 再次验证：“预测误差式惊讶” > “相邻帧相似度”

就像前一节在 VSR 里做的那样，他们在 VSC 上也做了一个消融：

• 基线方法：

  • 看相邻两帧特征差，差异大就当“边界／惊讶帧”；

• 自己的方法：

  • 看 LFP 的预测误差（即：下一帧跟模型预期差了多少）。

结果是：

• 调好超参之后，预测误差式惊讶在所有视频长度上都明显更好；

• 说明一个事实：

  • 仅仅“画面变了多少”不够；

  • 更重要的是“这变化是不是模型预期中的、是不是合理的动态”；

  • 预测误差天然就是在问这个问题：

    “这是正常发展，还是‘剧情突变’？”

---

5. 真·流式场景：问同一个问题 10 次，看模型能不能跟上进度

为了更接近现实中的“直播场景”，他们把 VSC 做成一个流式 QA：

• 同一条视频，选择 10 个时间点，问同一个问题（例如“现在总共看到了多少个 X？”）；
• 每个时间点的正确答案不同（因为看的内容变多了）；
• 最后把这 10 次的表现平均，作为模型在“流式场景”下的指标。

对比对象：

• Gemini-Live
• GPT-Realtime

这俩在产品定位上都是：“给你看直播画面、你可以随时问问题” 的类型。 结果：

• 它们在 10 分钟视频上的 MRA < 15%；
• 视频拉到 120 分钟时，表现接近 0；

而 Cambrian-S：

• 10 分钟流式视频：MRA ≈ 38%；
• 120 分钟时还能保持 ≈ 28%。

也就是说，即使面对真正的“边看边问”的任务，这套“惊讶驱动 + 事件分割”的预测式感知框架也比“通用实时助手”要稳得多。

---

6. 总结：从“看见”到“分段、记忆、推理”的一整套流程

到这里，你可以把他们的整个故事串起来：

1. 问题：

   • 长视频、流式场景下，靠扩大上下文和堆数据不够，
   • 模型会早早饱和、遗忘、数不清。

2. 关键机制：

   • 用 LFP 预测下一帧 latent；

   • 用预测误差当“惊讶度”；

   • 用惊讶驱动：

     • 记忆管理（只存关键信息）；
     • 事件分割（切成多个“可管理”的片段）。

3. 效果：

   • 更好的准确率；
   • 显存稳定；
   • 对长视频、流式问答更稳；
   • 在计数上真的学到了一种“可扩展”的策略，而不是背训练分布。

4. 意义：

   • 这是一个“预测式感知”范式的小原型，
   • 指向的是“内部世界模型 + 预测/惊讶驱动感知与记忆”的方向；
   • 把视频理解从“逐帧Q&A”推动到“构建隐式世界模型 + 长时空间推理”的层面。

5 相关工作

视频多模态大语言模型。
预训练LLM所具备的强大语言理解能力[15, 126, 7, 127]，与作为特征提取器使用的视觉基础模型的表征能力[105, 157, 128, 50, 39]相结合，推动了将这些模型扩展到文本以外模态的显著进展，使其能够实现对视觉内容的语义感知，尤其是在图像领域[56, 78, 65, 8, 124, 121, 27, 134, 68]。 这一发展势头进一步激发了针对视频多模态大语言模型的研究[74, 65, 161, 119, 9, 167, 158, 69, 168, 89]，而这类模型被视为将多模态智能与具身体代理等现实世界应用[61, 147]相连接的关键一步。 正如本文反复强调的，要构建真正有能力的超级感知系统，需要重新审视若干核心问题：如何进行合理的基准评测、什么样的数据才是“合适的数据”、哪些架构设计最为有效，以及哪些建模目标最符合系统的整体目标。

流式视频理解。
视频是一种连续的、在潜在上近乎无限的视觉信号流。 尽管人类可以几乎毫不费力地处理这种输入，但视频的“无界”特性对视频MLLM提出了严峻挑战：随着时长增加，标记长度线性增长，从而导致计算与存储成本不断攀升。 近期工作在若干方向上尝试缓解这一问题： 高效架构设计。 自注意力机制的二次复杂度使得长视频的处理变得十分困难。 最新方法[70, 112]尝试采用更简单、更高效的架构[135, 48, 58]来降低计算开销，并在处理长输入时表现更好。 上下文窗口扩展。 预训练LLM中固定的上下文长度限制了其对长时程内容的理解能力。 近期研究[26, 160, 25]通过精心的系统设计扩展了上下文窗口，使模型能够处理并推理更长的视频序列。 检索增强的视频理解。 为了处理长视频，一些方法会从更大规模的视频集合中检索出与任务最相关的片段[63, 101, 136]，并将其作为上下文供后续分析使用。 视觉标记压缩。 还有一类方法通过在帧间或帧内减少视觉标记[117, 73, 57, 72, 19]来缩短输入，从而降低处理长视频序列的难度。 尽管这些方法在一定程度上提升了性能，但它们大多仍将连续视频视作类似文本的标准序列建模问题。 我们认为，未来的MLLM应当像人类一样，构建内部预测模型，以更高效地处理连续视觉流。

视觉空间智能。
从视觉输入中理解空间关系，是感知并与物理世界交互的关键能力之一。 随着多模态模型越来越多地被应用于物理环境中，对空间智能的兴趣显著增长，催生了一系列新的评测基准[148, 107, 154, 86, 152, 75, 142, 123]，以及旨在增强模型空间推理能力的大量研究工作[151, 84, 99, 38, 21, 28, 18, 76, 67, 166, 110]。 在本文中，我们通过视频中的“空间超级感知”这一概念来研究视觉空间智能，并通过改进数据构建、优化训练策略以及引入新的建模范式，探索增强MLLM空间推理能力的途径。

预测建模。
学到的内部预测模型[31, 49]使智能体能够表征并模拟其环境的若干方面，从而支持更高效的规划与决策。 模型预测控制（MPC）[43]在控制理论中应用了类似思想：利用内部前向模型来预测未来轨迹，并实时选择最优动作。 这一概念受到人类如何构建世界心智模型[108, 52, 41]及其内部表征如何影响行为（例如无意识推理[130]）的启发：这些内部表征作为现实世界的简化抽象，使得预测与高效行动成为可能。 越来越多的研究通过自监督表征学习[5, 6]，以及基于文本或动作条件的视频生成[164, 150, 11, 22, 10, 44]来探索预测建模的思想。 在本文中，受人类利用内部世界模型高效、有效地处理无边界感官输入的机制启发，我们探讨如何为MLLM赋予类似的预测式感知能力。

6 结论

我们强调了视频中空间超级感知能力的重要性，并为其提出了一套分层框架；我们主张，要实现超级智能，AI系统必须超越当前大多数MLLM所侧重的基于文本的知识与语义感知，还需要发展空间认知和预测式世界模型。 为了度量进展，我们提出了VSI-SUPER基准，并发现当前MLLM在该基准上表现不佳。 为检验当前进展是否主要受限于数据，我们构建了VSI-590K数据集，并在其上训练了空间对齐的MLLM——Cambrian-S。 尽管Cambrian-S在标准基准上表现优异，但其在VSI-SUPER上的结果暴露了当前MLLM范式的局限性。 我们提出了预测式感知的原型方法，通过潜在帧预测与“惊讶”估计来处理无边界的视觉流。 这一方法在VSI-SUPER上提升了Cambrian-S的表现，可视为迈向空间超级感知的早期尝试。

局限性。
我们的目标是提出一个概念性框架，以促使社区重新思考发展空间超级感知的重要性。 作为一项长期研究方向，我们目前的基准、数据集和模型设计在质量、规模与泛化性方面仍然有限，本文提出的原型仅作为概念验证。 未来工作应探索更加多样化和具身化的应用场景，并与近年来在视觉、语言与世界建模方面的进展建立更紧密的联系。

致谢

我们感谢Cambrian-1[124]提供的优秀代码库，它为本研究提供了重要的起点。 我们感谢TorchXLA团队就TPU、TorchXLA与JAX分布式训练基础设施提供的有益讨论。 我们还感谢Anjali Gupta、Sihyun Yu、Oscar Michel、Boyang Zheng、Xichen Pan、Weiyang Jin和Arijit Ray对本文稿的审阅以及他们提出的建设性意见。 本研究主要得到了Google TPU Research Cloud（TRC）项目以及Google Cloud Research Credits项目（GCP19980904）的支持。 E.B.获得美国国防部NDSEG奖学金项目的支持。 S.X.获得韩国科学和信息通信技术部IITP项目（RS-2024-00457882）及美国国家科学基金会IIS-2443404项目的支持。

本文将“空间超级感知（spatial supersensing）”作为视频多模态大模型迈向更高层智能的关键能力，指出当前MLLM主要停留在文本知识与图像级语义感知上，尚缺乏对视频中长时程空间结构与动态的系统建模。作者通过引入VSI-SUPER基准，实证展示了主流大模型在该任务上的明显不足；随后构建VSI-590K数据集并训练空间对齐的Cambrian-S模型，证明即便在数据与训练策略上进行精细设计和扩展，在现有“纯序列建模”的范式下，长时程、持续空间感知能力仍然难以获得根本性提升。

---

在此基础上，本文提出预测式感知（predictive sensing）作为新的研究方向：通过潜在帧预测与“惊讶”估计，驱动记忆管理与事件分割，从而在无边界视觉流中有选择地保留关键信息、划分语义片段。实验表明，这一原型方法在VSI-SUPER上实现了对Cambrian-S性能的显著提升，优于单纯依赖上下文扩展的强基线模型。尽管当前系统在尺度与泛化性上仍有限，更多是概念验证，但它为构建“既能看见，又能预测、筛选并组织经验”的下一代多模态智能系统提供了清晰的框架与实践起点。