来源：CreateAMind

Gemini Robotics: Bringing AI into the Physical World

Gemini Robotics：将人工智能带入物理世界

https://arxiv.org/pdf/2503.20020

最近，大型多模态模型的进展使得人工智能在数字领域展现出卓越的通用能力，但这些能力向物理智能体（如机器人）的转化仍面临巨大挑战。真正实用的机器人需要能够理解其周围的物理世界，并以熟练且安全的方式与之交互。本报告介绍了一种专为机器人技术设计、基于Gemini 2.0基础构建的新型AI模型家族。我们提出“Gemini Robotics”——一种先进的视觉-语言-动作（Vision-Language-Action, VLA）通用模型，可直接控制机器人。Gemini Robotics能够执行流畅且具备反应性的动作，处理各种复杂的操作任务，同时对物体类型和位置的变化具有鲁棒性，能够在未见过的环境中运行，并遵循多样化、开放词汇的指令。我们展示了通过额外微调，Gemini Robotics可以被专门化以实现新能力，包括解决长周期、高度灵巧的任务（例如折纸狐狸或玩纸牌游戏），从少至100次示范中学习新的短周期任务，并适应完全新颖的机器人形态，包括双臂平台和高自由度人形机器人。

这一能力之所以成为可能，是因为Gemini Robotics建立在我们在此工作中提出的第二个模型——Gemini Robotics-ER之上。Gemini Robotics-ER（具身推理，Embodied Reasoning）将Gemini的多模态推理能力扩展到物理世界，增强了空间和时间理解能力。这使其具备与机器人相关的多种能力，包括物体检测、指向、轨迹与抓取预测，以及以多视角对应关系和3D边界框预测形式呈现的三维理解。我们展示了这种新颖组合如何支持多种机器人应用，例如零样本（通过机器人代码生成）或少样本（通过上下文内学习）。我们也讨论并应对与此类新型机器人基础模型相关的重要安全问题。Gemini Robotics系列标志着迈向发展通用型机器人、实现人工智能在物理世界潜力的重要一步。

1. 引言

现代人工智能（AI）模型在大规模数据集上进行预训练后取得了显著进展，重新定义了信息处理方式，在文本、图像、音频和视频等多种模态中展现出卓越的性能和泛化能力。这为数字领域的交互式和辅助系统开辟了广阔前景，从多模态聊天机器人到虚拟助手不一而足。然而，要实现通用自主AI在物理世界中的潜力，必须实现从数字世界到物理世界的重大转变：物理具身的AI智能体必须展示出稳健的人类水平的具身推理能力——即涵盖在本质上具身的物理世界中运作和行动所必需的基本概念的世界知识。作为人类，我们往往理所当然地拥有具身推理能力——比如感知环境的三维结构、解释复杂的物体间关系，或理解直觉物理规律——但这些能力构成了任何具身AI智能体的重要基础。此外，一个具身AI智能体还必须超越对现实世界空间和物理概念的被动理解；它还必须学会采取对环境产生直接影响的行动，从而弥合被动感知与主动物理交互之间的鸿沟。

随着机器人硬件的最新进展，创建能够执行高度灵巧任务的具身AI智能体展现出令人振奋的潜力。基于此，我们提出一个问题：要赋予最先进的数字AI模型以在一般性和灵巧性方面与我们的世界交互所需的具身推理能力，究竟需要什么？

我们的研究假设是：利用前沿视觉-语言模型（VLMs）如Gemini 2.0所具备的先进多模态理解和推理能力。这些基础模型所提供的广义理解能力——尤其是解释视觉输入和复杂文本指令的能力——为构建具身智能体提供了强大的基础。这项工作的成功依赖于两个基本组成部分。第一，Gemini需要获得强大的具身推理能力，从而理解物理世界的丰富几何特征以及时空细节。第二，我们必须将这种具身推理扎根于物理世界，使Gemini能够“讲出”物理动作的语言，理解接触物理、动力学以及现实世界交互的复杂性。最终，这些要素必须融合在一起，以实现在现实世界中对机器人的快速、安全且灵巧的控制。

为此，我们推出了基于Gemini 2.0（我们最先进的多模态基础模型）构建的Gemini Robotics具身AI模型家族。我们首先通过一个新的开源通用具身推理基准ERQA，验证基础Gemini 2.0自身具身推理能力的表现力和通用性。随后我们介绍两个模型：第一个模型是Gemini Robotics-ER，这是一种以强大具身推理能力为核心、同时保持其核心基础模型功能的视觉-语言模型。Gemini Robotics-ER在一系列具身推理任务中展现出广泛的泛化能力，在理解物理世界的关键能力方面表现优异，范围涵盖3D感知、精确指向、机器人状态估计，以及通过代码实现的可操作性预测。第二个模型是Gemini Robotics，这是一种最先进的视觉-语言-动作（VLA）模型，将强大的具身推理先验与真实世界机器人的灵巧低层级控制相结合，以解决具有挑战性的操作任务。作为一种通用型VLA模型，Gemini Robotics能够执行多种多样且复杂的任务，同时紧密遵循语言指令，并在指令、视觉和动作分布发生变化时仍具备良好的泛化能力。

为了强调Gemini Robotics模型的灵活性和通用性，我们还引入了一个可选的专业化阶段，展示了Gemini Robotics如何被调整用于极端灵巧性任务、在困难泛化场景下的高级推理，以及控制完全新型的机器人形态。最后，我们讨论了训练大型机器人模型（如Gemini Robotics模型）所带来的安全影响，并提供了在VLA背景下研究此类挑战的指导原则。具体而言，本报告重点突出以下几点：

1. ERQA：一个专门设计用于评估多模态模型具身推理能力的开源基准，填补了现有评估仅限于原子能力、缺乏综合性标准测试的空白，促进标准化评估和未来研究。

2. Gemini Robotics-ER：一种展示出增强具身推理能力的视觉-语言模型（VLM）。

3. Gemini Robotics：一种通过整合机器人动作数据而形成的VLA模型，能够实现高频灵巧控制、强大的泛化能力，并在多样化的机器人任务和形态之间快速适应。

4. 负责任的开发：我们讨论并践行负责任的模型开发，严格遵循Google AI原则，仔细研究模型的社会效益与风险，并提出潜在的风险缓解措施。

Gemini Robotics模型家族是迈向更具通用能力机器人的初步尝试。我们相信，最终通过利用来自互联网规模数据的具身推理能力，并结合来自现实世界交互的动作数据进行接地，机器人将能够深刻理解物理世界并熟练行动。这种理解将使它们能够以迄今为止机器人系统难以企及的通用性和复杂性，实现最富挑战性的目标。

1. 基于Gemini 2.0的具身推理

Gemini 2.0是一种视觉-语言模型（Vision-Language Model, VLM），其能力超越了仅需视觉理解与语言处理的任务。特别是，该模型展现出先进的具身推理（Embodied Reasoning, ER）能力。我们将具身推理定义为：视觉-语言模型将物体和空间概念在现实世界中进行定位的能力，以及综合这些信号以服务于下游机器人应用的能力。图2中展示了一些此类能力的示例。在第2.1节中，我们首先介绍一个用于评估广泛具身推理能力的基准，并表明Gemini 2.0模型在该基准上处于当前最先进水平。在第2.2节中，我们展示了Gemini 2.0所具备的多种具体具身推理能力。最后，在第2.3节中，我们展示了这些能力如何在无需对机器人动作数据进行微调的情况下应用于机器人任务，从而实现诸如通过代码生成实现零样本控制、以及通过上下文内学习实现少样本机器人控制等应用场景。

2.1 具身推理问答（ERQA）基准

为了衡量视觉-语言模型（VLM）在具身推理方面取得的进展，我们提出了ERQA（Embodied Reasoning Question Answering，具身推理问答）基准。该基准专门关注具身智能体在与物理世界交互时可能需要的一系列能力。ERQA包含400道涵盖多种类别的多项选择题形式的视觉问答（VQA）题目，类别包括空间推理、轨迹推理、动作推理、状态估计、指向、多视角推理以及任务推理。各类问题的分布情况如图4所示。在这400道问题中，有28%的问题提示中包含多张图像——这类需要在多幅图像之间建立对应概念的问题通常比单图像问题更具挑战性。

ERQA是对现有VLM基准的补充。现有基准通常侧重于更基础的原子能力（例如物体识别、计数、定位），但大多数情况下未能充分涵盖在物理世界中行动所需的更广泛能力。图3展示了我们ERQA中的一些示例问题及其答案。其中一些问题要求VLM识别并注册多个帧中的物体；另一些则需要对物体的可操作性（affordances）及其与场景其余部分的三维关系进行推理。该基准的完整细节可参见：https://github.com/embodiedreasoning/ERQA。

我们对ERQA中的所有问题进行了人工标注，以确保其正确性和质量。基准中的图像（非问题）由我们自行拍摄，或来自以下数据集：OXE（O’Neill 等，2024）、UMI Data（UMI-Data，2024）、MECCANO（Ragusa 等，2021, 2022）、HoloAssist（Wang 等，2023）和 EGTEA Gaze+（Li 等，2021）。在表1中，我们报告了Gemini模型及其他模型在ERQA上的表现，同时也报告了在RealworldQA（XAI-org，2024）和BLINK（Fu 等，2024）两个流行基准上的结果，这两个基准也用于衡量空间和图像理解能力。具体而言，我们报告了Gemini 2.0 Flash（一种性能强大、低延迟的主力模型）以及Gemini 2.0 Pro Experimental 02-05（在本文其余部分简称为Gemini 2.0 Pro Experimental，是处理复杂任务表现最佳的Gemini模型）的结果。Gemini 2.0 Flash和Pro Experimental在各自模型类别中，于这三个基准上均达到了新的最先进水平。我们还注意到，ERQA是这三个基准中最具挑战性的，因此此处的表现尤为突出。

Gemini 2.0模型具备高级推理能力——我们发现，若采用思维链（Chain-of-Thought, CoT）提示方法（Wei 等，2022），可显著提升Gemini 2.0在该基准上的表现。CoT提示鼓励模型在选择多项选择答案之前，先输出推理过程，逐步“思考”问题，而非直接预测答案。我们在每个问题末尾附加如下指令作为CoT提示：“请逐步推理答案，并展示每一步的思考过程。只有完成这些之后，再给出最终答案。” 结果如表2所示。使用CoT提示后，Gemini 2.0 Flash的表现超过了未使用CoT的Gemini 2.0 Pro Experimental，而CoT进一步提升了Gemini 2.0 Pro Experimental的表现。

我们在图5中重点展示了两个此类推理过程示例：Gemini 2.0 Pro Experimental在未使用CoT时回答错误，但在使用CoT后正确回答的问题。这些推理过程表明，Gemini 2.0能够：1）精确地将其空间理解建立在图像观察之上；2）利用这种具身化理解进行复杂、逐步的具身推理。

2.2 Gemini 2.0的具身推理能力

在本节中，我们将更详细地说明Gemini 2.0的一些具身推理能力。我们还介绍了Gemini Robotics-ER，这是Gemini 2.0 Flash的一个版本，具备增强的具身推理能力。这些能力可在机器人应用中直接使用，无需任何额外的机器人特定数据或训练。Gemini 2.0能够理解图像中的多种二维空间概念。

1. 物体检测：Gemini 2.0可执行开放世界（open-world）的二维物体检测，通过查询提供精确的二维边界框。查询可以是明确的（例如描述物体名称），也可以是隐含的（如类别、属性或功能）。

2. 指向（Pointing）：对于任何自然语言描述，模型能够指向明确的实体（如物体和物体部件），以及隐含概念，例如可操作性（抓取位置、放置位置）、自由空间和空间概念。定量评估见表3。

   

3. 轨迹预测：Gemini 2.0可利用其指向能力，生成基于其观察结果的二维运动轨迹。轨迹可基于对物理运动或交互的描述生成。

4. 抓取预测：这是Gemini Robotics-ER引入的一项新功能。它将Gemini 2.0的指向能力扩展为预测俯视视角下的抓取点。

Gemini 2.0还具备三维空间推理能力（Chen 等，2024；Hwang 等，2024）。凭借“三维视觉”能力，Gemini 2.0能更好地理解尺寸、距离和方向等概念，并利用这种理解来推理场景状态及应执行的动作。

1. 多视角对应（Multi-View Correspondence）：用图像表示三维信息的一种自然方式是通过多视角（如立体）图像。Gemini 2.0可以从多视角图像中理解三维场景，并预测同一场景在多个相机视角下的二维点对应关系。

2. 三维边界框检测：这种三维理解也适用于单幅图像——Gemini 2.0可直接从单目图像中预测具有度量意义的三维边界框。与二维检测和指向能力类似，Gemini 2.0可通过开放词汇描述来检测物体。

尽管可以为上述每项任务分别构建专家模型，但将这些能力融合到一个基础模型（如Gemini 2.0）中，使得模型能够根据开放世界的自然语言指令执行具身推理任务，响应反馈，并支持多轮交互。特别是，Gemini 2.0能够将场景理解与推理相结合，解决更复杂的任务，例如编写机器人代码（见第2.3节）。

接下来，我们将使用Gemini 2.0模型（Flash和Pro Experimental）对这些能力进行详细的定量和定性评估，并在适当情况下与其他视觉-语言模型进行比较。对于某些能力，我们也展示了Gemini Robotics-ER的结果。您可在此处找到如何通过提示激发Gemini 2.0这些能力的代码和提示示例。

物体检测：Gemini 2.0可根据自然语言查询预测二维物体边界框。在图6中，我们展示了Gemini 2.0 Flash在机器人可能看到的图像上进行的多个二维检测示例。Gemini 2.0使用格式 y0,x0,y1,x1表示二维边界框。我们可以提示Gemini 2.0检测场景中的所有物体（图2中的示例）。模型还可以根据描述检测特定物体——例如图6中“检测所有厨具”。这些描述还可包含空间线索——如中间示例中的“检测图像右侧的坚果”。最后，我们可以提示Gemini 2.0根据其可操作性检测物体。在图6右侧示例中，我们要求Gemini 2.0检测溢出物以及“可用于清理它的物品”。Gemini 2.0能够在未被明确指定的情况下，同时检测到溢出物和毛巾。这些示例展示了将精确的定位能力与通用型视觉-语言模型相结合的优势：Gemini的开放词汇和开放世界推理能力，实现了专用专家模型难以达到的语义泛化水平。

二维指向（2D Pointing）：在某些应用场景中，点坐标比边界框能提供更灵活、更精确的图像理解与机器人控制表示。我们在多种机器人操作场景中展示了Gemini 2.0的指向能力（图7）。模型以 y,x坐标对的形式表示点。与二维物体检测类似，Gemini 2.0可以指向由开放词汇语言描述的任何物体。Gemini 2.0不仅能定位整个物体，还能定位物体部件，例如汤匙的手柄（图7，左）。此外，Gemini 2.0还能指向空间概念，例如“锅左侧桌面上的空区域”（图7，左），或“根据已有八个罐头的排列模式，指出新罐头应放置的位置”（图7，中）。它还能推断可操作性；例如，当被问及“指出人类会抓握此处以拿起该物体的位置”时，模型正确识别出马克杯的手柄（图7，右）。

我们在表3中使用三个基准对Gemini 2.0的指向能力进行了定量评估：

• Paco-LVIS（Ramanathan 等，2023）：用于自然图像上的物体部件指向；
• Pixmo-Point（Deitke 等，2024）：用于网络图像上的开放词汇指向；
• Where2place（Yuan 等，2024）：用于室内场景中的自由空间指向。

有关我们如何与其他模型进行指向能力对比评估的详细信息，请参见附录B.2。Gemini 2.0显著优于GPT和Claude等当前最先进的视觉-语言模型（VLMs）。Gemini Robotics-ER在三个子任务中的两个上超过了专用于指向任务的视觉-语言模型Molmo。

二维轨迹（2D Trajectories）
Gemini 2.0可利用其指向能力，预测连接多个点的二维轨迹。尽管Gemini 2.0无法执行复杂的运动规划（例如避障），但它仍能生成基于观察图像的有用轨迹。我们在图8中展示了一些示例。在左侧和中间图像中，Gemini 2.0从第一人称视角视频中的人手位置插值出一条合理的轨迹，指向其可能抓取的工具。在右侧图像中，Gemini 2.0预测了一系列航点，若由机器人夹爪按顺序执行，即可擦拭托盘上的溢出区域。Gemini 2.0的轨迹预测能力体现了其对运动和动力学的世界知识，这是机器人技术的一项基础能力。我们在第4.2节中将充分利用这些初步的轨迹理解能力，以更紧密地将动作与视觉和语言能力结合起来。

俯视抓取姿态（Top-Down Grasps）
Gemini 2.0的语义指向能力可自然扩展至俯视抓取姿态，表示为坐标和一个旋转角度 θ。这一能力在Gemini Robotics-ER中得到进一步提升，如图9所示。例如，我们可以提示模型在香蕉的茎部抓取，或在香蕉中心抓取（右图）。我们将在第2.3节中展示，此类抓取预测可直接用于真实机器人上的下游控制任务。

多视角对应（Multi-view Correspondence）
Gemini 还能够理解世界的三维结构。其中一个例子是它可以从多个视角理解一个三维场景。例如，给定一幅初始图像，其中标注了一组点，以及同一场景从不同视角拍摄的新图像，我们可以询问Gemini 2.0：初始图像中的哪些点在第二幅图像中仍然可见，并查询这些点的坐标。从图10的示例中可以看出，Gemini 2.0能够在视角差异极大的情况下完成多视角对应。在上方图像对中，尽管场景其余部分的视角发生了显著变化，模型仍正确预测出红点对应的是人类在这些第一人称图像中所持的物体。在下方图像对中，模型正确预测出橙色点在第二幅图像中不可见。这种多视角理解能力在机器人领域非常有用，例如机器人可利用Gemini 2.0分析多个图像流（如立体视图、头戴与腕部摄像头视图），以更好地理解其观测结果的三维空间关系。

三维检测（3D Detection）
Gemini 2.0还可以从单幅图像中预测具有度量意义的三维边界框。与其二维检测能力类似，Gemini 2.0的三维检测能力也是开放词汇的，如图11所示。在表4中，我们使用SUN-RGBD（Song 等，2015）——一个广泛用于三维物体检测和场景理解的数据集与基准——报告了Gemini 2.0的三维检测性能，并将其与基线专家模型进行比较（包括ImVoxelNet（Rukhovich 等，2022）、Implicit3D（Zhang 等，2021）和Total3DUnderstanding（Nie 等，2020））。Gemini 2.0的三维检测性能与现有的最先进专家模型相当，而Gemini Robotics-ER在SUN-RGBD基准上达到了新的最先进水平。尽管这些基线模型仅支持封闭类别集合，Gemini却支持开放词汇查询。

2.3 Gemini 2.0 实现零样本与少样本机器人控制

Gemini 2.0 的具身推理能力使得在从未使用任何机器人动作数据进行训练的情况下控制机器人成为可能。它能够开箱即用地完成所有必要步骤：感知、状态估计、空间推理、规划与控制。以往的研究通常需要组合多个模型来实现这些功能（Ahn 等，2022；Kwon 等，2024；Liang 等，2023；Vemprala 等，2023），而 Gemini 2.0 则将所有所需能力集成于单一模型之中。

接下来，我们研究两种不同的方法：

1. 通过代码生成实现零样本机器人控制；
2. 通过上下文内学习（in-context learning，下文简称为“ICL”）

实现少样本控制——即我们通过在上下文中提供少量示范，引导模型学习一种新行为。

Gemini Robotics-ER 在上述两种设置下的多种任务中均表现出良好性能。我们发现，尤其是零样本机器人控制的表现与更强的具身理解能力高度相关：Gemini Robotics-ER 在这方面接受了更全面的训练，其任务完成率相较 Gemini 2.0 提升了近两倍。

通过代码生成实现零样本控制

为了测试 Gemini 2.0 的零样本控制能力，我们将它生成代码的固有能力与第 2.2 节中描述的具身推理能力相结合。我们在双手机器人平台 ALOHA 2（Team 等，2024；Zhao 等，2025）上进行了实验。

为了控制机器人，Gemini 2.0 可访问一个 API（Arenas 等，2023；Kwon 等，2024；Liang 等，2023），该 API 能够将每个夹爪移动到指定姿态、控制夹爪开合，并提供当前机器人状态的读数。该 API 还提供感知功能：无需调用外部模型，而是由 Gemini 2.0 自身完成第 2.2 节所述的物体边界框检测、物体上的关键点定位，以及生成俯视抓取姿态。

在一次任务执行（episode）过程中，Gemini 2.0 首先接收一个系统提示（system prompt）、机器人 API 的描述以及任务指令。随后，它迭代地接收展示当前场景状态、机器人状态和执行反馈的图像，并输出可在环境中执行的代码，以控制机器人。生成的代码利用 API 来理解场景并移动机器人，执行循环机制使得 Gemini 2.0 能够在必要时做出反应并重新规划（例如，图 34 所示）。图 12 展示了该 API 及任务执行流程的概览。

表5展示了在仿真环境中一系列操作任务上的实验结果。这些任务的选择旨在覆盖不同难度和物体类型的表现：从简单的抓取任务（拿起一根香蕉）到长周期、多步骤、多任务的复杂操作（将玩具放入盒子并关上盒盖）。完整任务描述见附录B.3.1。Gemini 2.0 Flash的平均成功率为27%，在较简单的任务中最高可达54%。而Gemini Robotics-ER的表现几乎是Gemini 2.0 Flash的两倍，平均成功完成53%的任务。Gemini Robotics-ER模型增强的具身推理能力显然对下游机器人任务带来了显著提升。

表6展示了在真实ALOHA 2机器人上的实验结果。与仿真环境相比，香蕉交接任务的成功率较低，这是由于现实世界中存在的标定误差及其他噪声因素所致。对于更复杂且对灵巧性要求更高的任务——衣物折叠：Gemini Robotics-ER目前尚无法完成，主要原因是其无法生成足够精确的抓取姿态。

通过上下文示例实现少样本控制。上述结果展示了Gemini Robotics-ER如何被有效用于完全在零样本情况下解决一系列任务。然而，某些灵巧的操作任务超出了Gemini 2.0当前零样本执行的能力范围。受此类情况启发，我们展示了一种方法：模型可以通过少量上下文内的示范进行条件化，随后立即模仿这些行为。与之前生成代码的方式不同，我们在此提示模型直接生成末端执行器姿态的轨迹，以遵循示范中的示例。

我们扩展了Di Palo和Johns（2024）提出的方法，该方法将k条遥操作（teleoperated）的机器人动作轨迹转换为物体列表和末端执行器姿态的序列，将其编码为文本并添加到提示中（见图13）。得益于Gemini Robotics-ER的具身推理能力，我们无需依赖任何外部模型来提取视觉关键点和物体姿态（而原研究中需要这样做）；Gemini Robotics-ER可以自行完成这些任务。除了观测和动作信息外，我们还在提示中穿插了对操作行为的自然语言描述，以在推理时激发模型的推理能力。模型能够模仿上下文轨迹中的自然语言推理，从而更准确地判断何时使用哪只手臂，或更精确地预测与物体交互的位置。使用大型多模态模型的一个优势在于，它能够将行为建立在观测、动作和语言的综合条件之上，这种多模态融合的效果优于任一单一模态单独使用的表现。

采用该方法（使用10个示范）的结果如表5和表6所示。Gemini 2.0 Flash和Gemini Robotics-ER均能有效利用完全在上下文中的示范来提升性能。在仿真环境中，Gemini 2.0 Flash的性能达到51%；而Gemini Robotics-ER在仿真和真实世界中均达到了65%。相较于零样本代码生成方法，性能的提升主要体现在更灵巧的任务上，例如物体交接、折叠衣物或收纳玩具，这些任务中示范能够引导模型输出更精确、协调的双手机械臂轨迹。

这一系列实验表明，Gemini 2.0 Flash及其增强具身推理能力的版本Gemini Robotics-ER可直接用于机器人控制，作为感知模块（例如物体检测）、规划模块（例如轨迹生成），或通过生成并执行代码来协调机器人动作。同时，实验也显示出模型在具身推理能力上的表现与下游机器人控制性能之间存在显著正相关。此外，我们的实验还表明，该模型能够利用上下文学习的强大能力，仅通过少量示范即可提升在更灵巧、双臂协同任务（如折叠衣物）上的表现，直接输出末端执行器姿态的轨迹。

然而，作为一种视觉-语言模型（VLM），其在机器人控制方面存在固有局限性，尤其是在处理更灵巧的任务时，因为需要中间步骤将模型自身的具身推理能力与机器人动作连接起来。在下一节中，我们将介绍Gemini Robotics——一种端到端的视觉-语言-动作（Vision-Language-Action, VLA）模型，能够实现更通用、更灵巧的机器人控制。

4.基于Gemini Robotics的机器人动作

在本节中，我们介绍Gemini Robotics——一种由Gemini衍生而来、经过微调后可直接预测机器人动作的模型。Gemini Robotics是一种通用模型，能够在不同环境中解决灵巧任务，并支持多种不同的机器人形态。我们首先研究该模型在大规模、多样化数据集（包含带动作标签的机器人数据及其他多模态数据）上训练后的表现。结果表明，该模型开箱即用即可解决大量短周期灵巧任务（第3.2节），能够紧密遵循自然语言指令（第3.3节），并继承了Gemini Robotics-ER的泛化能力，在场景视觉变化、物体位置和实例差异方面表现出鲁棒性（第3.4节）。在第4节中，我们进一步探索Gemini Robotics的能力极限，将其专门化用于挑战性的高灵巧性长周期任务（第4.1节），以及更极端的泛化场景（第4.2节）。我们还研究了其对新灵巧任务的快速适应能力（第4.3节），以及对具有全新外形、动作和观测方式的机器人形态的适应能力（第4.4节）。

3.1 Gemini Robotics：模型与数据

模型  像Gemini Robotics-ER这样的大型视觉-语言模型（VLM）在推理时通常速度较慢，且需要专用硬件。这在视觉-语言-动作（VLA）模型的应用中可能带来问题，因为推理过程可能无法在机器人本体上运行，且由此产生的延迟可能无法满足实时机器人控制的需求。Gemini Robotics正是为解决这些问题而设计的。它由两个部分组成：部署在云端的VLA主干网络（Gemini Robotics backbone），以及运行在机器人本机计算机上的本地动作解码器（Gemini Robotics decoder）。Gemini Robotics主干网络是由Gemini Robotics-ER的一个蒸馏版本构成，其从查询到响应的延迟已从数秒优化至160毫秒以内。机器人端的本地解码器则用于补偿主干网络的延迟。当主干网络与本地解码器结合使用时，从原始观测数据到低层级动作片段的端到端延迟约为250毫秒。由于每个动作片段中包含多个动作（Zhao 等，2023），实际控制频率可达50Hz。该整体系统不仅能够在主干网络存在延迟的情况下实现流畅的动作和反应行为，同时还保留了主干网络的泛化能力。我们的模型架构概览见图14。

数据  我们在一支ALOHA 2机器人集群（Team 等，2024；Zhao 等，2025）上，历时12个月收集了一个大规模遥操作机器人动作数据集，包含数千小时的真实世界专家机器人示范。该数据集涵盖了数千种多样化任务，涉及多种操作技能、物体类型、任务难度、任务周期长度和灵巧性要求。此外，训练数据还包括非动作类数据，如网络文档、代码、多模态内容（图像、音频、视频），以及具身推理和视觉问答数据。这些数据增强了模型对多种机器人任务和请求的理解、推理与泛化能力。

基线模型  我们将Gemini Robotics与两个当前最先进的模型进行比较：
第一个是 𝜋0 re-implement，即我们对开源权重的最先进VLA模型𝜋0（Beyer 等，2024；Black 等，2024）的重新实现。我们在自己的多样化训练数据混合集上训练了该模型，发现其性能优于作者发布的公开检查点，因此将其作为本实验中性能最强的VLA基线模型（详见附录C.2）。
第二个是多任务扩散策略模型（multi-task diffusion policy，Chi 等，2024），该模型受ALOHA Unleashed（Zhao 等，2025）启发但经过修改，使其能够根据任务条件进行学习，已被证明在从多模态示范中学习灵巧技能方面表现有效。
两个基线模型均使用我们多样化的数据混合集训练至收敛。Gemini Robotics主要在云端运行，并配备本地动作解码器；而两个基线模型则在配备Nvidia RTX 4090 GPU的工作站上本地运行。本节中所有实证结果均基于严格的现实世界机器人实验，并采用A/B测试和统计分析（更多细节见附录C.1）。

3.2 Gemini Robotics 能够开箱即用解决多样化的灵巧操作任务

在第一组实验中，我们展示了Gemini Robotics能够解决广泛多样的灵巧操作任务。我们在一系列短周期灵巧任务上评估该模型的性能，并与当前最先进的多任务基线模型进行比较。所有模型均以“开箱即用”的方式评估，即不进行任何任务特定的微调或额外提示，在第3.1节所述数据集中随机选取的20项任务上进行测试。我们选择了多样化的场景设置（部分示例如图15所示），涵盖洗衣房场景（例如“折叠裤子”）、厨房场景（例如“叠放量杯”）、杂乱的办公桌场景（例如“打开粉色文件夹”）以及其他日常活动（例如“打开眼镜盒”）。这些任务对灵巧性的要求也各不相同——从简单的抓取放置（例如“从桌子中央拿起鞋带”），到需要双手协调操作的可变形物体处理（例如“将电线缠绕在耳机上”）。我们在图15中展示了模型执行这些任务的部分示例，完整任务列表见附录C.1.1。

图16总结了我们模型与基线模型的性能表现。我们发现，Gemini Robotics模型在一半任务上开箱即用即可熟练完成，成功率超过80%。值得注意的是，我们的模型在可变形物体操作任务（如“折叠粉色布料”、“将电线缠绕在耳机上”）上表现尤为出色，而基线模型在这些任务上则表现困难。对于更具挑战性的任务（例如“打开粉色文件夹”、“插入红色积木”、“将电线缠绕在耳机上”），我们发现Gemini Robotics是唯一能够取得非零成功率的方法，这凸显出：要实现多任务策略学习，必须结合高容量的模型架构以及覆盖所有模态（视觉、语言和动作）的高质量多样化数据。最后，我们发现一些最灵巧的任务仅通过多任务训练设置仍难以掌握（例如“插入鞋带”）：我们将在第4.1节中讨论如何通过专门化训练使Gemini Robotics解决此类任务以及更长周期的复杂任务。

3.3 Gemini Robotics 能够紧密遵循语言指令

第二组实验测试模型遵循自然语言指令的能力。我们在五个多样化评估场景中选取25条语言指令进行测试，这些场景包括训练中见过的场景，也包括包含未见过物体和容器的新场景（详见附录C.1.2）。评估重点在于必须精确执行的语言指令（例如“将蓝色夹子放在黄色便利贴的右侧”），而非开放式的抽象指令（如“清理桌子”）。我们在图17中可视化了任务执行过程，并报告了二元任务成功率。

实验结果表明，强大的可引导性（steerability）源于高质量多样化数据与强大视觉-语言主干网络的结合。Gemini Robotics和𝜋0 re-implement均优于扩散策略基线模型，即使在简单的分布内场景中也是如此，这表明一个强大的语言编码器至关重要。然而，尤其是在包含新物体和细粒度指令的挑战性场景中（例如“将牙膏放入收纳盒的底部隔层”），我们发现Gemini Robotics比两个基线模型都更有效（见图17）。基于PaliGemma的𝜋0 re-implement虽然能正确接近训练中见过的物体，但在理解描述性语言属性（如“顶部黑色容器”、“蓝色夹子”）方面存在困难，无法处理未见过的物体和语言描述组合的任务。

3.4 Gemini Robotics 将Gemini的泛化能力带入物理世界

缺乏鲁棒的泛化能力是机器人在家用和工业场景中大规模部署的关键瓶颈。在最后一组实验中，我们评估Gemini Robotics在三个已被先前研究认为重要的维度上的泛化能力（Gao 等，2025）：

视觉泛化：模型应对不影响任务执行动作的场景视觉变化保持不变性。这些变化包括背景、光照条件、干扰物体或纹理的差异。

指令泛化：模型应理解自然语言指令中的不变性与等价性。除了第3.3节研究的细粒度可引导性外，模型还应理解语义重述（paraphrasing）、对拼写错误具有鲁棒性、理解不同语言，并适应不同详细程度的指令。

动作泛化：模型应能调整已学习的动作或合成新动作，例如泛化到训练中未见过的初始条件（如物体位置）或物体实例（如形状或物理特性）。

我们使用一个多样化的任务套件评估Gemini Robotics和基线模型的泛化性能。该基准共包含85项任务，其中20%属于训练分布内任务，28%用于评估视觉泛化，28%用于评估指令泛化，24%用于评估动作泛化。图18至图20展示了任务套件中三类变化的示例。详细任务分类见附录C.1.3。图21报告了平均进度得分（progress scores）。该指标比二元任务成功率更具连续性，使我们能够更细致地观察每项任务中策略的进展，尤其是困难任务（每项任务的进度得分定义见附录C.1.3.3）。我们在附录图40中也提供了以成功率表示的相同图表。

如图21所示，Gemini Robotics始终优于基线模型，并更有效地应对这三类变化。在基线模型完全失败的情况下（例如使用新语言的指令），Gemini Robotics仍能取得非零表现。我们推测，这些提升源于更大、更强大的视觉-语言模型主干网络（包括Gemini 2.0中使用的最先进视觉编码器）与多样化训练数据的结合。

1. 针对灵巧性、推理能力及新形态的专门化与适应性优化

Gemini Robotics 模型是一种强大的机器人通用模型，能够开箱即用解决一系列灵巧任务，并展现出非平凡的泛化能力。在本节中，我们进一步测试该模型的能力极限，并探索未来进一步提升其通用能力的可能路径。具体而言，我们：（1）测试模型通过进一步专门化，能否掌握更具挑战性的长周期灵巧任务；（2）通过语义接地的具身推理优化其泛化能力；同时我们还探索：（3）模型快速适应新任务和新环境的可能性；（4）以及适应全新机器人形态的能力。其中，（1）和（2）为未来模型改进提供了重要方向，而（3）和（4）则是模型实际部署中所期望具备的关键特性。

4.1 长周期灵巧性

在第3.2节中，我们展示了Gemini Robotics模型能够开箱即用完成短周期灵巧任务。在此，我们进一步展示：通过对模型使用少量高质量数据进行微调，可使其专门化，从而解决高度灵巧、极具挑战性的长周期任务——这些任务的难度已超出通用模型本身的能力范围。具体而言，我们选取了六项任务（见图22），以展示模型在专门化后的多种能力：

折纸狐狸：机器人需要将一张纸折叠成狐狸头部的形状。该任务包含4次精确折叠，每次都需要对齐、弯折、捏压和压痕，且纸张层数逐次增加。这要求极高精度和可靠的双臂协调能力，因为即使出现微小误差也可能导致不可挽回的失败。

打包便当盒：机器人需要将多个物品装入一个便当袋中。首先，它需将一片面包插入塑料袋的窄缝中，拉上拉链，然后将该塑料袋和一根能量棒一起放入便当袋。接着，它必须将葡萄放入容器中，盖上盖子并密封，再将容器放入便当袋。最后，机器人需拉上便当袋的拉链。其中多个子任务（如插入面包、盖上容器盖、拉上便当袋拉链）需要双臂精确协调和精细的夹爪动作。

拼字棋盘游戏：在此游戏中，人类在机器人面前放置（或绘制）一个物体的图片。机器人必须识别该物体，并通过将字母积木移动到棋盘上，实际拼出描述该物体的三个字母的单词。该任务需要视觉识别能力以及紧密的视觉-语言-动作关联。

玩纸牌游戏：机器人必须使用自动发牌机抽取三张牌，并将其转移到另一只手中。然后等待人类出牌，再从手中打出一张牌，最后收起自己的牌。这是一个具有挑战性的细粒度操作任务，要求机器人能够交接薄薄的扑克牌，并从手中精确地选出一张牌。

向沙拉中添加荷兰豆：机器人必须使用金属夹子从一个碗中夹取荷兰豆，并将其添加到另一个碗中。使用夹子需要双臂协调：一只手臂持夹子，另一只手臂施加压力以夹取和释放荷兰豆。

向沙拉中添加坚果：机器人必须使用勺子从一个竖直容器中舀取坚果并倒入沙拉碗中。舀取动作需要灵巧操作，才能成功从较高的容器中收集坚果，然后将其倒入沙拉碗中。

我们为每项任务精心准备了2000至5000段高质量的示范数据，并使用这些专门化数据集对第3节中的Gemini Robotics检查点进行微调。我们将这些专门化模型的表现与基线模型的专门化版本（𝜋0 re-implement 专门化模型和多任务扩散策略专门化模型）进行比较，后者也在相同数据集上进行了微调。此外，为了评估第3节中多样化训练数据的重要性，我们还从零开始训练了一个单任务扩散策略模型和另一个Gemini Robotics专门化模型，而非基于第3节的检查点进行训练。我们在真实世界中对所有模型进行了广泛评估，并在图23中报告任务成功率（进度得分结果见附录图42）。除拼字游戏外，每项任务对每个模型均进行20次试验；拼字游戏则进行12次试验。

我们发现，我们的专门化模型能够以平均79%的成功率解决所有这些任务。最值得注意的是，它在耗时超过2分钟的完整长周期便当盒打包任务上达到了100%的成功率。在拼字游戏中，它能够正确识别并拼出印刷图片中的单词（这些图片出现在专门化数据集中），并且还能正确拼出6个未见过的手绘草图中的4个。相比之下，所有基线模型都无法一致地识别图像并正确拼写单词。对于较简单的灵巧任务，我们发现从零开始训练的单任务扩散模型表现具有竞争力，这与已发表的最佳结果一致（Zhao 等，2025）。然而，为拼字游戏、折纸和便当盒任务训练的单任务扩散模型表现不佳，可能是因为这些任务具有长周期特性。我们还发现，多任务扩散策略和𝜋0 re-implement在使用相同数据进行微调后，仍无法达到我们模型的性能，这与图16中的发现一致。Gemini Robotics模型与基线模型的关键区别在于其基于Gemini的更强大主干网络，这表明在挑战性任务上的成功专门化与通用模型的强度高度相关。此外，当我们直接使用专门化数据集从零开始训练Gemini Robotics专门化模型时，发现它无法解决任何这些任务（所有任务成功率均为0%，未在图23中绘出），这表明除了高容量的模型架构外，从第3节的多样化机器人动作数据集中学习到的表征或物理常识，是模型能够专门化解决需要高度灵巧性的长周期挑战性任务的另一个关键组成部分。

4.2 增强的推理与泛化能力

现在，我们探索如何充分利用Gemini Robotics-ER所具备的新型具身推理能力（如空间与物理理解以及世界知识），以指导低层级机器人动作，应对比第3.4节要求更高推理能力和更广泛泛化的场景。尽管先前研究已在视觉鲁棒性方面取得一致提升，但截至目前，视觉-语言-动作（VLA）模型在保持抽象推理能力并将这些能力应用于行为泛化方面仍面临重大挑战（Brohan 等，2023；Kim 等，2025）。为此，我们研究了一种微调过程，该过程利用第3.1节中机器人动作数据集的重新标注版本，使动作预测更贴近新引入的具身推理能力：轨迹理解与生成（第2.2节）。第3.1节中的本地动作解码器被扩展，以将这些推理中间结果转换为连续的低层级动作。

我们将这种增强推理能力的变体与原始的Gemini Robotics模型（第3节）在真实世界机器人任务上进行比较，这些任务不在训练分布内（第3.1节）。值得注意的是，这些挑战性场景结合了第3.4节中研究的分布偏移，要求模型能够同时泛化到指令、视觉和动作的变化。我们描述了高层级评估类别，并在附录D.2中列出了完整的指令和任务描述。

单步推理：此类任务的指令间接指定了感兴趣的对象和/或操作动作，例如通过其属性或可操作性。例如，在“将右下角的老鼠分类到匹配的堆中”任务中，模型必须将右下角的白色玩具老鼠分类到白色玩具老鼠堆中，而不是干扰性的棕色和灰色老鼠堆中；所有这些老鼠以及基于颜色对物体进行分类的任务，在训练动作标签分布中均未出现过。

语义泛化：这些任务需要超越第3.4节泛化任务复杂性的语义和视觉理解。对于“将日本鱼生 delicacy 放入便当盒”任务，模型必须在各种干扰物体中确定寿司为目标物体，并将其装入便当盒。

空间理解：这些任务需要理解相对和绝对空间关系的概念。对于“将最小的可乐罐装入便当盒”任务，模型必须装入迷你尺寸的罐子而不是干扰性的全尺寸罐子，并将其放入便当盒。描述待评估空间概念（最小）的语言在训练动作数据标签分布中未出现过。

图24展示了原始Gemini Robotics模型及其增强推理版本在真实世界评估中的成功率。尽管原始模型表现尚可，但在需要单步推理或规划、语义知识以及对世界空间理解的分布外场景中，增强推理版本显著提升了成功率。此外，除了模型在新场景中应用技能能力的提升外，我们还观察到可解释性的增强：模型能够输出中间步骤，这些步骤与Gemini Robotics-ER的人类可理解的具身推理过程非常相似，这一优势也在先前的启发性研究中被强调（Gu 等，2023；Li 等，2025；Vecerik 等，2024；Wen 等，2024；Zawalski 等，2024）。例如，我们在图25中展示了作为模型内部思维链一部分所使用的关键点轨迹的可视化。

4.3 快速适应新任务

机器人基础模型有望通过利用预先获得的关于机器人动作和物理交互的常识，实现快速任务学习。虽然第4.1节探讨了在长周期、高度灵巧任务上的专门化，但本节则研究了另一极端：我们的通用模型能够以多快的速度适应新的、短周期任务。具体而言，我们从上述长周期任务中选取了八个子任务（详见附录D.3.1），并改变用于微调第3节检查点的示范数据量。图26显示了每个任务的平均成功率随示范数量变化的情况。在8个任务中的7个任务上，仅使用最多100次示范（根据任务复杂度，相当于15分钟到1小时的演示），微调即可有效实现超过70%的成功率。值得一提的是，对于其中两个任务，Gemini Robotics达到了100%的成功率。基线模型在较简单任务上具有竞争力：它们更高效地学会了“倒入生菜”，在“加沙拉酱”和“抽牌”任务上，𝜋0 re-implement 的成功率略高。然而，在示范数量有限的情况下，它们在“折纸狐狸第一步折叠”或便当盒相关任务等更困难的任务上表现不佳。这再次表明，一个强大的视觉-语言模型主干网络——能够更有效地将丰富多样的机器人动作数据转化为对物理交互的深入理解——是实现新任务快速学习的关键。

4.4 适应新形态

在初步实验中，我们还探索了在ALOHA 2平台上收集的动作数据训练出的Gemini Robotics模型，如何利用目标平台上的少量数据，高效地适应并控制全新的机器人形态。我们考虑了两种新平台：一种是配备平行夹爪的双臂Franka机器人，另一种是Apptronik公司开发的全尺寸人形机器人Apollo，其拥有五指灵巧手。图27展示了在这两种不同机器人上的示例任务。经过微调后，我们发现Gemini Robotics在分布内任务上的成功率与当前最先进的单任务扩散策略相当，甚至略优。例如，适配后的Gemini Robotics模型在双臂Franka机器人上能够解决所有测试任务，平均成功率达到63%（任务详情及成功率图表见附录D.4）。我们进一步研究了该适配模型对视觉干扰、初始条件扰动以及物体形状变化的鲁棒性（见附录D.4.2）。如图28所示，在这些视觉和动作泛化测试中，Gemini Robotics显著优于单任务扩散基线模型。值得注意的是，这表明Gemini Robotics模型能够在微调适应新形态后，仍将原有的鲁棒性和泛化能力迁移到新平台上，实现跨形态的有效转移。

5.负责任的开发与安全

我们开发本报告中介绍的模型时，严格遵循了Google AI原则（Google，2025）以及此前人工智能技术的发布实践（Gemini-Team 等，2023；Kavukcuoglu 等，2022）。确保人工智能被负责任地构建和使用是一个持续迭代的过程——这一点不仅适用于文本或图像模型，也同样适用于机器人基础模型。我们的模型具有数字与物理融合、具身化的特性，并最终使机器人能够在物理世界中采取行动，因此需要特别审慎对待。在Google DeepMind的责任与安全委员会（Responsibility and Safety Council, RSC）以及负责任开发与创新团队（Responsible Development and Innovation, ReDI）的指导下，我们识别了使用这些模型可能带来的风险，并开发了相应的安全缓解框架，以覆盖模型在具身推理和动作输出模态方面的潜在问题。

传统的机器人安全是一个庞大而多方面的学科，涵盖从数百页的ISO和RIA标准中规定的危险缓解措施（for Standardization, 2011; Jacobs and Virk, 2014; RIA），到无碰撞运动规划（LaValle, 2006）、力调控（Villani and De Schutter, 2016）以及鲁棒控制（Ames et al., 2019; Zhou and Doyle, 1998）。历史上，研究重点一直放在物理动作安全上，即确保机器人遵守严格的物理约束（例如避障、工作空间边界）、具备稳定的移动能力（例如行走），并能将接触力调节在安全范围内。这属于经典约束控制的范畴，通常通过运动规划、模型预测控制和柔顺/力控制等方法，在控制栈的最底层实现。根据硬件特性和环境约束的不同，我们需要将Gemini Robotics等视觉-语言-动作（VLA）模型与这类安全关键的底层控制器进行接口连接。我们此前的研究（Chiang et al., 2025; Varley et al., 2024）已对此类接口进行了原型设计。此外，本报告中描述的这类由AI驱动的机器人系统，要求我们以更广泛且不断演进的视角来看待安全研究，因为新的安全概念正在变得相关。

Gemini安全政策（Gemini-Team et al., 2023）旨在确保内容安全，防止Gemini衍生模型生成有害的对话内容，例如仇恨言论、性露骨内容、不当医疗建议或泄露个人身份信息。通过基于Gemini检查点进行构建，我们的机器人模型继承了（Gemini-Team et al., 2023）中针对这些政策的安全训练，从而促进安全的人机对话。然而，随着我们的具身推理模型引入了指向等新的输出模态，我们需要为这些新功能增加额外的内容安全防护层。因此，我们对Gemini 2.0和Gemini Robotics-ER进行了监督微调，目标是教会Gemini在何种情况下不应将泛化应用到图像中未呈现的内容上。该训练使模型对诱导偏见的指向查询的拒绝率达到96%，相比之下基线模型仅为20%。

除了内容安全外，通用机器人的一个重要考量是语义动作安全（semantic action safety），即在开放域非结构化环境中遵守物理安全约束的需求。这些约束难以穷尽列举——例如：软玩具不应放在热炉子上；对花生过敏的人不应被提供花生；酒杯必须保持直立方向传递；刀具不应指向人类；等等。这些考量不仅适用于通用机器人，也适用于其他情境化智能体。与本技术报告同步，我们开发并发布了ASIMOV数据集（Sermanet et al., 2025a,b），用于评估和提升语义动作安全。该数据集包含如图29a和图29b所示的视觉和纯文本安全问答实例。Gemini Robotics-ER模型在这些实例上进行了后训练（post-training）。我们的安全评估结果总结于图29c和29d。对齐指标为相对于人类对安全性的真值评估的二分类准确率。从图29c和29d可以看出，Gemini 2.0 Flash和Gemini Robotics-ER模型表现相似，均展现出对视觉场景中物理安全以及源自真实世界伤害报告（NEISS, 2024）的情境具有强大的语义理解能力。我们发现，使用宪政式AI方法（constitutional AI methods，Ahn et al., 2024; Bai et al., 2022; Huang et al., 2024; Kundu et al., 2023; Sermanet et al., 2025a）可提升性能。我们还发现，在对抗性提示下（即要求模型颠倒其对“可取”与“不可取”行为的理解）的性能下降，可以通过后训练和宪政式AI机制得到缓解。有关ASIMOV基准、我们的数据驱动宪法生成流程以及全面实证分析的更多细节，请参见与本技术报告同步发布的（Sermanet et al., 2025a,b）。

这些研究初步表明，我们非机器人模型所坚持的严格安全标准，同样适用于我们新一类具身化和机器人导向的模型。随着我们进一步开发机器人基础模型系列，我们将持续改进和创新安全与对齐方法。在关注潜在安全风险的同时，我们也必须承认机器人部署带来的社会影响。我们认为，主动监测和管理这些影响（包括其带来的益处与挑战），对于风险缓解、负责任部署和透明报告至关重要。Gemini Robotics模型的模型卡（Mitchell et al., 2019）详见附录A。

6.讨论

在本研究中，我们探讨了如何将Gemini 2.0的世界知识和推理能力通过机器人技术引入物理世界。对于机器人及其他具身智能体而言，具备稳健的人类水平具身推理能力至关重要。基于这一认识，我们提出了Gemini Robotics-ER——一种具身化的视觉-语言模型（VLM），在空间理解、轨迹预测、多视角对应以及精确指向等能力上显著推进了当前最先进水平。我们通过一个新开源的基准验证了Gemini Robotics-ER的出色表现。结果表明，我们的训练方法非常有效地增强了Gemini 2.0在具身推理方面的多模态能力。该模型为现实世界的机器人应用提供了坚实基础，能够高效实现零样本和少样本适应，适用于感知、规划以及机器人控制代码生成等任务。

我们还提出了Gemini Robotics——一种通用的视觉-语言-动作（Vision-Language-Action, VLA）模型，它建立在Gemini Robotics-ER的基础之上，弥合了被动感知与主动具身交互之间的鸿沟。作为我们迄今为止最灵巧的通用模型，Gemini Robotics在多种操作任务中展现出卓越的能力，从复杂的布料操作到对关节物体的精确处理。我们认为，该方法的成功可归因于以下三点：（1）具备增强具身推理能力的强大视觉-语言模型；（2）专为机器人设计的训练策略，将海量机器人动作数据与多样化的非机器人数据相结合；（3）专为低延迟机器人控制设计的独特架构。至关重要的是，Gemini Robotics能够有效遵循开放词汇指令，并展现出强大的零样本泛化能力，证明了其成功利用了Gemini Robotics-ER的具身推理能力。最后，我们展示了可选的微调机制，用于专门化和适应新任务与新形态，使Gemini Robotics能够适应新任务和新机器人平台、实现极致灵巧性，并在挑战性场景中泛化，凸显了我们的方法在快速将基础能力转化为现实应用方面的灵活性与实用性。

局限性与未来工作
Gemini 2.0和Gemini Robotics-ER在具身推理方面已取得显著进展，但其能力仍有提升空间。例如，Gemini 2.0在长视频中跨帧建立空间关系的能力可能较弱，其数值预测（如点坐标和边界框）可能不足以满足更精细的机器人控制任务。此外，尽管Gemini Robotics的初步结果展现了令人鼓舞的泛化能力，未来工作将聚焦于几个关键方向：第一，我们旨在增强Gemini Robotics在复杂场景中的能力，特别是在需要多步推理与精确灵巧动作协同的全新情境中。这需要开发将抽象推理与精确执行无缝结合的技术，以实现更稳健、更通用的性能。第二，我们计划更多地依赖仿真环境生成视觉多样性高、接触信息丰富的数据，并开发利用这些数据构建更强大VLA模型的技术，使其能够有效迁移到真实世界（Lin 等，2025）。第三，我们将扩展多形态实验，目标是减少适应新型机器人所需的数据量，最终实现零样本跨形态迁移，使模型能够立即将技能泛化到全新的机器人平台。

总之，我们的工作朝着实现物理世界中通用自主人工智能的愿景迈出了重要一步。这将彻底改变机器人系统在理解、学习和接受指令方面的方式。传统机器人系统通常为特定任务而设计，而Gemini Robotics则赋予机器人对世界运行方式的通用理解，使其能够适应广泛的任务。Gemini的多模态和通用特性还有望降低使用和受益于机器人技术的技术门槛。未来，这可能从根本上改变机器人系统的应用场景及其使用者群体，最终推动智能机器人融入我们的日常生活。随着技术的成熟，像Gemini Robotics这样强大的机器人模型将具备巨大潜力，为社会带来积极影响。但与此同时，我们也必须认真考虑其安全性和更广泛的社会影响。Gemini Robotics在设计之初就充分考虑了安全性，我们已在文中讨论了多种缓解策略。未来，我们将继续努力，确保这些技术的潜力能够被安全、负责任地释放和利用。

原文链接：https://arxiv.org/pdf/2503.20020

阅读最新前沿科技趋势报告，请访问欧米伽研究所的“未来知识库”

https://wx.zsxq.com/group/454854145828

未来知识库是“欧米伽未来研究所”建立的在线知识库平台，收藏的资料范围包括人工智能、脑科学、互联网、超级智能，数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。欢迎扫描二维码或访问https://wx.zsxq.com/group/454854145828 进入。