25年8月来自哈工大（深圳）的论文“Large VLM-based Vision-Language-Action Models for Robotic Manipulation: A Survey”。

机器人操控是机器人技术和具身人工智能的关键前沿，需要精确的运动控制以及对动态环境中视觉和语义线索的综合理解。传统方法基于预定义的任务规范和严格的控制策略，往往难以在非结构化的新场景中扩展或推广。近年来，基于在海量图像文本数据集上预训练的大型视觉-语言模型 (VLM) 构建的视觉-语言-动作 (VLA) 模型已成为一种变革性范式。通过利用大型 VLM 在开放世界泛化、分层任务规划、知识增强推理和丰富的多模态融合方面的能力，这些模型使机器人能够解读高级指令、识别未知环境并执行复杂的操控任务。

本综述首次系统地、以分类学为导向地综述了基于大型 VLM 的机器人操控 VLA 模型。首先明确定义基于 VLM 的大型 VLA 模型，并描述两种主要的架构范式：（1）单体模型，涵盖具有不同集成度的单系统和双系统设计；（2）分层模型，通过可解释的中间表征明确地将规划与执行分离。在此基础上，对基于 VLM 的大型 VLA 模型进行深入研究：（1）与高层域的集成，包括强化学习、无需训练的优化、从人类视频中学习以及世界模型集成；（2）综合各具特色的特征，整合架构特性、操作优势以及支持其发展的数据集和基准；（3）识别有前景的方向，包括记忆机制、四维感知、高效自适应、多智体协作以及其他新兴能力。本综述整合最新进展，旨在解决现有分类法中的不一致问题，缓解研究碎片化，并通过系统地整合大型 VLM 与机器人操作交叉领域的研究来填补关键空白。

---

大型 VLM 与机器人系统的集成，催化了一类新模型的发展：基于大型 VLM 的视觉-语言-动作 (VLA) 模型 [26]– [32]。如图所示，这种范式拥有巨大的潜力，有望突破传统机器人流程的根本局限性。它使机器人能够解读高级人类指令，泛化至未知物体和场景，推理复杂的空间关系，并在动态非结构化环境中执行复杂的操控任务。例如，VLA 模型可以执行诸如“将笔记本电脑旁边的红色马克杯放到顶层架子上”之类的命令，这项任务需要视觉基础、空间推理和顺序运动规划的复杂融合。

本文基于对近期研究 [26]–[37] 的广泛回顾以及对该领域 [38]–[43] 的深入理解，提出了基于大型 VLM 的 VLA 模型的统一定义：该模型 (1) 利用大型 VLM 理解视觉观察和自然语言指令；(2) 执行直接或间接服务于机器人动作生成的推理过程。进一步区分两大类基于大型 VLM 的 VLA 模型：

• 单体模型（如图左）包括单系统和双系统实现。 (1) 单系统模型 [26], [27], [44], [45] 将环境理解（包括视觉感知、语言理解和机器人状态感知）和动作生成集成在一个统一的架构中。相比之下，(2) 双系统模型 [29]–[32] 采用 VLM 主干进行场景解释，采用动作专家进行动作确定，通过潜在表示的传播来交换信息。

• 分层模型（如图右）[46]–[50] 明确将规划与策略执行分离。这些模型与双系统端到端方法有两个定义上的区别：(1) 结构化的中间输出，其中规划器模块生成可解释的表示，例如关键点检测、affordance 图或轨迹提议，然后由策略模块处理以制定可执行动作； (2) 解耦训练范式，通过专门的损失函数或 API 介导的交互，实现分层模块的独立优化。

该分类法强调了 VLA 开发中的关键设计维度，特别是系统集成粒度和认知分解的明确性，同时保持与现代表征学习范式的基本联系。

基于上述定义和分类法，对广泛的相关工作进行了全面调查，揭示了新兴 VLA 领域存在的几个关键差距，调查的组织结构如图所示。

单体 VLA 模型主要以两种方式实现：单系统和双系统架构。在单系统设计中，视觉感知、语言指令和机器人状态被联合输入到一个统一的模型中，该模型处理所有模态并通过自回归或并行解码解码可执行动作。相比之下，双系统架构将功能划分为两个协作模块：系统 2（VLM 主干）执行速度较慢但更广义的反射推理，而系统 1（动作专家）则专注于快速处理以支持反应行为。单系统 VLA 提供架构简单、开发流程精简且避免复杂的模块间通信，而双系统 VLA 则利用分工将反应速度与精准度相结合。

单系统模型

单系统 VLA 模型体现了单体设计理念。它们旨在通过统一模型将大型 VLM 的语义知识迁移到机器人操作任务中。单系统模型有两个主要研究方向：增强模型解决复杂任务的能力，以及提升推理效率以实现实际部署。如表总结了所有模型：其中 “AD”表示自回归解码，“PD”表示并行解码，“SFT”表示微调，不同于动作预测模仿学习，在动作预测模仿学习中，字幕、VQA、推理等任务都属于SFT。括号中的“A”和“B”表示动作头或骨干使用的学习方法。

如下图概述单系统的各种范式：

模型性能增强

VLA 模型的发展伴随着模型性能的提升。为了使模型能力更好地与人类智能相结合，性能增强工作主要集中在三个方向：

增强感知模态。这些模型通过扩展输入模态来改进现实世界的信息获取。(1) 3D 感知。由于现实世界是三维且连续的，基于 VLM 的大型 VLA 模型无法仅依靠二维图像来完全理解现实世界。因此，Leo Agent [94] 直接从模拟环境中获取以对象为中心的 3D 点云，并使用 PointNet++ [118] 对其进行编码；然后将编码后的特征输入空间变换器 [119] 以生成“空间”信息。在现实世界中，SpatialVLA [100] 提出 Ego3D 位置编码，该编码从二维图像估计深度，并将其反向投影到以自我为中心的三维坐标系中，将像素级三维位置与二维特征融合，从而生成以自我为中心的“空间”信息。类似地，BridgeVLA [35] 从 RGB-D 图像重建三维点云，并生成三个正交投影视图，使“空间”信息能够以与大型 VLM 兼容的二维格式表示。（2）四维感知。为了更好地捕捉机器人操作中的空间结构和时间动态，需要四维感知来实现更全面的场景理解。TraceVLA [97] 将采样的运动点轨迹叠加到当前图像上，从而创建图中的“轨迹”信息。结合原始观测数据，它为大型 VLM 提供了时空理解能力。此外，4D-VLA [108] 将三维坐标融入视觉特征，解决空间坐标不一致问题，并利用历史关键帧的存储库采样来缓解时间状态模糊性，从而提升时空推理能力。ST-VLA [110] 引入了“空间轨迹”方法，将历史时间“轨迹”信息与场景的空间深度信息相结合，在某些机器人操作任务中超越了之前的 SpatialVLA [100] 和 TraceVLA [97] 模型。（3）触觉和听觉感知。VTLA [103] 通过视觉编码器对触觉信息进行编码，使其与视觉序列对齐，然后将其与视觉和文本 tokens 一起输入 LLM，从而构建“视觉-触觉-语言-动作模型”。 VLAS [102] 使用“耳语编码器”提取语音特征，并通过 MLP 将其投影到 LLM 嵌入空间，从而引入图 4 中的“音频”信息。VTLA 和 VLAS 都构建了特定于任务的数据集以进行微调。此外，FuSe [98] 在微调过程中学习将“触觉”和“音频”模态与语言概念对齐，从而能够在模态特定标注有限的情况下实现多模态融合。OE-VLA [104] 利用多样化的多模态数据和两阶段课程学习策略，将指令从文本扩展到交错图像、视频和光学指令。

增强推理能力。要将 VLA 模型从简单的反应控制转向更高级的审议决策，增强推理能力至关重要。LLM 生成一个思维链式“推理”过程，然后将其用作上下文信息来生成最终的“动作”。ECoT [120] 生成一个推理链，该推理链将高级任务规划与基于视觉的特征依次相结合，然后输出最终动作。CoT-VLA [33] 通过预测代表像素空间中规划状态的子目标观测值，进一步引入了视觉思维链推理。与面向推理的视角相比，LoHoVLA [106] 采用“分层闭环控制”机制来解决规划错误、动作失败和外部干扰，从而处理长远任务。 ReFineVLA [105] 采用“选择性迁移微调”策略，通过双重学习目标仅对上层进行微调，使模型能够增强多模态理解。这些研究共同强调了推理在使 VLA 模型实现更可靠、更泛化的动作预测方面的核心作用。

增强泛化能力。模型的泛化能力是指其在不同平台和场景下执行不同任务的能力。UniAct [99] 定义一个“通用动作码本”，将异构的机器人动作抽象为统一的表示。这种统一的编码消除动作空间的异质性，并支持跨具身学习和推理，从而增强了泛化能力。 ReVLA [96] 采用可逆训练策略，逐渐将视觉编码器恢复到其原始预训练状态，从而减轻微调过程中的灾难性遗忘，并提升分布外视觉泛化能力。另一种增强泛化的方法是生成更鲁棒、更可靠的动作。HybridVLA [34] 将扩散和自回归解码集成到一个统一的模型中。它进一步采用“协作动作集成”机制自适应地融合它们，为不同任务选择最合适的生成策略，从而提高控制鲁棒性。同样，VOTE [109] 引入了一种自适应的“集成投票”策略，将过去的动作预测按与当前动作的相似性进行分组。它对多数集进行平均，以生成更鲁棒的动作，平衡响应性和稳定性。使模型能够更好地理解物理动力学，可以促进生成更可靠的动作。 WorldVLA [38] 将动作模型和世界模型集成在一个统一的自回归框架中，用于捕捉物理动态。同样，UnifiedVLA [107] 引入了世界模型作为训练后任务，使其能够从大规模未标记视频中学习物理世界的因果动态。UP-VLA [101] 提出了一个训练框架，通过在预训练期间预测下一帧图像来隐式学习世界的物理动态。因此，这些模型能够生成更可靠的动作，更好地遵循物理定律。

推理效率优化

基于 VLM 的 VLA 模型规模较大，往往导致推理速度较慢，这与机器人操作中较高的控制频率要求相冲突。因此，许多研究致力于推理效率优化，主要从以下三个角度提升效率：

架构优化。这些工作旨在通过调整 VLA 中的 VLM 架构来提高效率。可以通过跳层或提前退出来实现动态推理，从而避免冗余计算。MoLe-VLA [114] 在视觉和语言输入的联合投影空间上引入“时空-觉察路由器 (STAR)”，动态计算路由权重以选择最相关的 LLM 层。该机制可以有效地激活关键层，同时跳过冗余层，从而实现快速且语义敏感的推理。DeeR-VLA [36] 通过在 LLM 中添加多个提前退出来实现动态推理。相邻的出口比较输出一致性，以确定是否可以提前终止推理，从而避免不必要的深层计算。与动态推理不同，RoboMamba [112] 将基于 Mamba 的 LLM [121] 引入 VLA 领域，由于 Mamba 的序列复杂度与序列长度呈线性关系，其推理速度比基于 Transformer 的 [91] 模型快 3 倍以上。

参数优化。减小模型大小直接降低了部署难度。模型压缩，直接减少了参数数量。BitVLA [116] 引入了首个“1 位”权重 VLA 模型，使用蒸馏-觉察训练来量化视觉编码器，并采用“1 位”权重 BitNet b1.58 [122] 作为其 LLM。另一方面，NORA [45] 将紧凑、高质量的 VLM 与 FAST+ [123] 分词器配对，可将高维动作压缩为短的分词序列。这表明，精心设计的小模型可以胜过大型模型。

推理加速。这项工作旨在通过加速推理过程中的动作解码过程来提高推理效率。最值得注意的是，大多数模型用并行解码取代了自回归解码。可以通过修改 LLM 解码过程或使用专门的动作头来提高解码速度。这样，在一次前向传递中就可以生成完整的动作序列。RoboFlamingo [111] 将感知和策略分离，使用独立的 MLP 动作头将 VLM 输出转换为动作。这使得能够在一次传递中生成堆叠动作。OpenVLA-OFT [44] 用双向注意掩码取代因果注意掩码，使得能够在一次传递中填充空的动作嵌入，并通过 MLP 转换为连续动作。PD-VLA [113] 将自回归解码重新表述为通过定点迭代求解的非线性方程组。双向注意机制会更新动作token直至收敛，从而实现并行解码。

与并行解码不同，Spec-VLA [117] 探索了 VLA 模型中的推测解码。它通过 Relaxed Acceptance 机制提高了验证模型对草稿模型预测的接受率，在基线上实现了 1.42 倍的加速。除了解码之外，FlashVLA [115] 还通过使用 FlashTrigger 评估动作和环境的稳定性并决定是否跳过当前推理来解决冗余问题，从而显著降低了延迟。

双系统模型

为了同时满足深度推理和实时动作生成的需求，单片双系统 VLA 架构应运而生。这些模型采用两个不同的系统：一个更大、更慢的系统-2 用于高级推理和规划，另一个更小、更快速的系统-1 用于低级动作生成。这种分离实现了更快的响应时间和更顺畅的实际部署。它为机器人操作提供了可靠的战略规划和高速控制。分离的低级控制模块也更适合特定任务的优化。这种方法与单系统模型的关键区别在于引入了动作专家来明确地解耦动作生成。与分层模型相比，它的主要区别在于它不产生可解释的中间输出。下表总结具有代表性的双系统方法，其中“Diff.”表示基于扩散的学习，“FM”表示流匹配，“MSE”表示均方误差，“BCE”表示二元交叉熵，“AR”表示自回归学习。

如图展示了两种具有代表性的架构：基于级联的方法和基于并行的方法。

基于级联的方法

如图上半部分所示，基于级联的双系统 VLA 模型以串行方式将高级语义推理与低级实时控制分离。高级系统（系统-2）通常使用 VLM 来处理多模态输入、进行语义基础构建并生成行动规划。这些计划被编码为潜认知表征，而非直接执行。然后，低级系统（系统-1）以更高的频率将这些表征解码为可执行的机器人动作，从而显著提高运行时效率并促进实际部署。

为了解耦模型的“认知”和“动作”能力，许多方法选择一个单独的模型作为行动专家。如图左上角的“独立动作专家”部分所示，VLM 主干将特征传输给动作专家，以传达来自视觉、文本和机器人特定状态输入的信息。例如，CogACT [127] 引入了扩散transformer (DiT) [142] 作为动作模型。具体而言，它还提出了一种自适应动作集成算法，以实现更平滑、更高效的运动轨迹。GR00T N1 [32] 也采用了双-系统架构，其中引入 DiT 作为低级动作模型。两个系统紧密耦合，并进行端到端联合训练，从而实现了更快的策略步骤。一些模型采用了类似的架构，但不使用 DiT。例如，DP-VLA [124] 使用了行为克隆transformer [143]。许多模型在此基础上进行了改进。HiRT 模型 [128] 使用 VLM 以较低的频率运行。此过程提取特征以便对场景进行长期理解。然后，以更高的频率部署轻量级的视觉动作策略。这种设计可以实现更高效的机器人操作，并使系统能够在部署期间跟上现实世界环境的变化。TriVLA [132] 是一个三模块系统，包含一个用于预测未来帧的视频生成模型、一个用于解释指令的视觉语言模型 (VLM) 和一个扩散动作专家。GF-VLA [133] 从人类演示中提取基于信息的手-物体和物体-物体场景图，然后将它们与 LLM 融合，生成可解释的行为树和用于双臂控制的低级笛卡尔动作。RationalVLA [134] 通过可学习的潜接口将 VLM 与扩散策略耦合。VLM 发出一个 token 作为控制器生成动作的条件，或发出一个 token 来拒绝不可行的命令。 VQ-VLA [135] 采用卷积残差 VQ-VAE [144]，用动作序列进行预训练，取代 OpenVLA [26] 的 binning 方法。该模型在更多模拟数据中显示出线性性能提升，并且模拟与实际的差距较小。一些模型将动作专家集成到 VLA 主干网络中，Fast-in-Slow [40] 就是一个典型例子。如图右上角的“统一动作专家”部分所示，动作专家利用了 VLM 主干网络的最终 Transformer 块。它们以不同的频率运行，从而实现单个预训练模型中两个系统之间的无缝协调。

基于并行的方法

如图下半部分所示，基于并行的双-系统 VLA 设计一个与 VLM 主干并行运行的动作专家。这两个组件在推理过程中交互交换信息。根据动作专家的选择和交互机制，其定义两个类别。

如图左下角的“共享注意架构”部分所示，该架构借鉴了混合专家 (MoE) 框架 [145]。它们利用 VLM 主干和动作专家共享的自注意层中的 token 交互，将高级推理与低级执行分离。来自视觉和文本输入的信息在共享的自注意层中与噪声和机器人特定的输入交互。这种设计有助于针对特定任务进行优化。例如，这种设计允许在动作专家中加入真正的 MoE 或其他专门设计的架构。一个典型的例子是π0 [29]。它的骨干权重由预训练的VLM初始化。为了处理特定于机器人的输入和动作生成，引入了第二组独立权重，即基于流匹配的动作专家，并从头开始训练。ForceVLA [137]以π0 [29]为基础模型，使用具有MoE的FVLMoE模块将力模态引入VLA。OneTwoVLA [138]基于π0 [29]，可以在两种模式之间切换：显式推理和基于最新推理生成动作。这种架构使两个系统更容易异步运行，并进一步提高了效率。许多创新都建立在此基础上。π0.5 [30]在π0 [29]的基础上增加了一个步骤。VLA模块整合视觉信息，将高级提示转换为更细粒度的子任务预测，然后由π0 [29]的双系统架构进行处理。 π0.5-KI [37] 以 π0.5 [30] 为基础。在训练过程中，它可以防止动作专家的梯度流入 VLM 主干网络，以保持 VLM 的知识优势。π0-FAST [123] 引入了一种 DCT 驱动的动作 token 化方法，有助于对 VLA 模型进行高效的自回归训练。villa-X [141] 将潜动作建立在机器人状态中，并通过联合扩散对潜动作和机器人动作进行联合建模，以实现结构化的视觉-动作集成。Tactile-VLA [139] 将触觉感知与混合位置-力控制相结合，融入 VLA 模型中。如图右下角的“交叉注意架构”部分所示，该架构将视觉、文本和状态输入到 VLM 中，其中自注意层生成 K-V 并将 K-V 传递给动作专家的交叉注意层。例如，SmolVLA [31] 就采用了这种架构。它利用轻量级且冻结的 VLM 主干网络，并仅训练下游的流匹配 Transformer 作为动作专家，从而提高了效率。另一个例子是 GR-3 [140]，它利用流匹配将视觉语言理解与机器人轨迹学习统一起来。

。。。待续 。。。