在具身智能数据来源的演进中，生成式 AI 驱动的新范式代表着最具革命性的范式跃迁。此前我们讨论的遥操作、人类视频和仿真生成，本质上都需要人类深度参与——或亲自操作，或拍摄视频，或手动定义任务和奖励函数。而生成式 AI 驱动的新范式，则首次让智能体本身成为数据的创造者，开启了“AI 设计任务、AI 生成场景、AI 产生演示、AI 自我训练”的自主循环。这不再是简单的数据采集或扩增，而是一场数据生产关系的根本性重构。

---

一、范式跃迁：从“人创造数据”到“智能体创造数据”

传统数据来源的瓶颈，从来不在数据本身，而在于人的创造力与精力是有限的。无论遥操作还是仿真脚本，人类必须为每一个新任务、新物体、新场景投入认知劳动。生成式 AI 驱动的新范式则彻底改变了这一逻辑：

• 任务不由人定义，而由大语言模型（LLM）自动提出

• 场景不由人搭建，而由扩散模型自动生成

• 演示不由人给出，而由运动规划或强化学习自动合成

• 物体不由人建模，而由 2D 生成模型升维为 3D 资产

这条全自动流水线的核心思想是：利用大模型涌现的常识与创造力，替代人类在数据生产链中的认知角色。一旦跑通，数据便不再是稀缺资源，而是一种可以按需生产的无限商品。

---

二、核心技术路径与代表性工作

根据生成式 AI 在数据生产链中扮演的角色，当前的主要范式可归纳为三个层次：任务-场景联合生成、物体与视觉多样性生成、以及轨迹与交互数据合成。许多前沿工作跨越了多个层次，构成完整的自动化流水线。

1. 任务-场景联合生成：AI 自主设计“要做什么”与“在哪里做”

这是最具野心的方向——让 LLM 扮演“任务设计师”的角色，自动构想有意义的新任务，并在仿真中搭建对应的场景。

• RoboGen：全自动数据工厂的原型
  RoboGen 是这一范式的标杆工作。它设计了一条完整的生成式流水线，由四个主要模块衔接而成：

  1. 任务提议（Task Proposal）：由一个 LLM 根据给定的场景类型（如“厨房”），自动生成多样化且物理可行的操作任务描述，例如“将杯盖旋紧在杯子上”或“用夹子将茶包放入杯中”。为防止重复，还引入了检索增强生成机制，参考已有任务库来产生真正新颖的提议。

  2. 场景生成（Scene Generation）：对于需要特殊物体组合的任务，RoboGen 能自动从 3D 资产库中检索合适模型，并按语义关系合理摆放。例如对于“将杯盖旋到杯子上”的任务，会自动寻找杯子和对应盖子，将其放置在桌面上的可达范围内。

  3. 演示生成（Demonstration Generation）：利用运动规划与脚本规则，自动为所提出的任务合成可执行的参考轨迹。对于更复杂的接触丰富操作，则借助强化学习在自动搭建的场景中训练策略，并将成功交互的过程记录为演示数据。

  4. 策略学习（Policy Learning）：自动生成的演示数据可直接用于训练模仿学习策略，完成从任务提议到策略部署的完整闭环。

  在实验中，RoboGen 自动生成了100 余种不同任务，涵盖刚体操作、铰接物体交互、液体倾倒等多个类别，证明了“AI 创造数据→AI 学习数据”这一自循环的可行性。

• VIMA 与 TaskMeAnything
  这些工作虽侧重评估，但同样体现了 LLM 自主生成任务的能力。VIMA 使用 LLM 自动生成数万种多模态任务描述（图像+文本），涵盖视觉目标重排、概念约束操作等多样化组合，为具身模型提供了几乎取之不尽的训练任务池。TaskMeAnything 则进一步将任务生成推向开放域，让 LLM 为任意给定场景自动编排出合理的操作目标及约束条件。

2. 物体与视觉多样性生成：让机器人认识世界上“所有”的物体

真实世界中物体形状、纹理、材质的多样性近乎无限，人工建模永远无法穷尽。生成式模型则为每一个物体概念提供了视觉化身。

• Gen2Sim：从文字描述到可操作的 3D 物体
  Gen2Sim 打通了一条关键通路：文本 → 多视角 2D 图像 → 带纹理的 3D 网格 → 仿真中的可操作物体。具体流程为：

  1. 对于给定的物体名称（如“带浮雕花纹的陶瓷马克杯”），利用 Stable Diffusion 生成该物体在不同视角下的高保真图像。

  2. 通过 3D 重建算法（如 NeRF 或基于扩散的先验模型）将这些 2D 图像提升为带纹理的 3D 网格模型。

  3. 自动生成碰撞体与物理属性，导入仿真器成为可被机械手抓取和操作的对象。

  这条流水线使得机器人可以接触到真实世界中从未被 3D 扫描过的稀有物体、艺术化物体或自定义设计对象，大幅扩展了操作对象的语义和几何多样性。

• 用于视觉增强的生成式方法
  即便不生成新物体，生成式模型也能对现有数据进行巨大的视觉扩充。RT-1 的训练管线中大量使用了一种称为 “数据增强的生成式对抗方法”：对于一条真实采集的操作轨迹，用扩散模型将每一帧的背景替换为各种室内外场景，同时随机化光照、物体纹理和颜色。这使得同一动作能在数百种视觉条件下被学习，策略最终学到的是“抓取把手”的动作本质，而非“在白色背景下抓取红色把手”的像素捷径。

3. 轨迹与交互数据合成：从像素到动作的直接生成

比任务设计和视觉增强更进一步，一些工作开始探索直接从文本或像素中生成机器人交互轨迹，完全绕开物理仿真。

• UniSim：基于世界模型的交互数据生成
  Google DeepMind 的 UniSim 训练了一个大规模视频生成模型，能够根据当前观察和动作指令预测未来的视觉画面。当这个“世界模型”足够准确时，它本身就成为一个数据生成器：对于某个真实任务，你只需改变初始条件（物体位置、背景），UniSim 便能为你“想象”出完整的交互过程视频，并伴随机器人的动作轨迹。这相当于用神经网络取代了传统物理仿真器，生成的数据既具有照片级真实感，又继承了真实视频中的运动物理规律。

• 机器人动作生成模型
  一些工作（如 RT-2 所依赖的生成框架）尝试直接以任务描述为条件，生成机器人的动作序列或末端轨迹。这些生成的动作可作为离线强化学习或模仿学习的训练数据，补充真实遥操作数据的不足。

---

三、这种范式的革命性意义

生成式 AI 驱动的新范式，其意义远超“多了一种数据来源”。它改变了具身智能数据生态的底层逻辑：

1. 从有限到无限
   传统数据的规模受限于人类劳动时长，而生成式智能体可以 7×24 小时不停歇地创造新任务、新场景、新轨迹，理论上数据量没有上限。

2. 从长尾盲区到全面覆盖
   真实世界数据的最大痛点是长尾场景的严重不足。生成式 AI 天然擅长产生“组合式新意”——它能将不同物体、不同动作、不同背景进行任意交叉，系统性地覆盖真实世界中极少出现但一旦出现就致命的边缘情况。

3. 从被动记录到主动探索
   旧范式中，数据是“过去发生过什么”的被动记录。生成式新范式下，智能体可以主动问自己：“我还没学会什么？”然后主动生成对应的训练数据。这标志着数据生产从经验驱动向认知驱动的跃迁。

4. 降低门槛与民主化
   一旦全自动生成流水线成熟，获取高质量具身数据将不再需要昂贵的机器人硬件和专业的遥操作技能。中小团队甚至个人研究者，也能通过云端仿真和生成式服务训练出复杂操作策略。

---

四、当前局限与技术挑战

这种范式尚处萌芽期，距离完全自主的“数据永生”还有多重挑战：

• 生成质量与物理真实性的矛盾
  扩散模型生成的 2D 图像和视频，在视觉上可能足够逼真，但其底层的物理一致性（如物体碰撞、重力作用、接触力）并未被真实建模。用这类“看起来真但物理上假”的数据训练的策略，可能在真实部署时遭遇灾难性失败。而 3D 生成→仿真的路径虽物理正确，但 3D 生成本身的质量和多样性仍远不及 2D。

• 任务合理性过滤
  LLM 可能生成物理上不合理或毫无意义的任务（如“将水倒入漏勺”），需要额外的常识验证模块进行过滤，这本身是一个尚未完美解决的问题。

• 长程任务与组合泛化的困难
  当前自动生成系统大多局限于单步或短程操作（拿起、放置、插入），对于需要多步推理和长期规划的家庭任务（如“准备一份三明治”），自动生成有意义的演示仍极具挑战。

• 评估标准的缺失
  当数据由 AI 创造时，如何自动评估数据的“有用性”？如何确保生成的数据确实提升了模型能力，而非灌入噪声？这需要发展全新的数据质量度量体系。

---

五、未来愿景：一个自我循环的数据生态

展望未来，生成式 AI 驱动的新范式将与其他数据来源深度交织，形成一个自我进化的生态系统：

• 认知端：多模态大模型持续观察互联网和机器人部署反馈，不断提出新的学习目标与任务概念。

• 生成端：世界模型和 3D 生成模型根据任务描述，生产出物理一致、视觉逼真的交互场景与演示轨迹。

• 训练端：具身基座模型用这些生成数据持续预训练和微调，能力螺旋上升。

• 验证端：少数高质量真实遥操作数据作为“物理锚点”，定期校准和验证生成数据的质量，形成闭环。

在这个生态中，生成式 AI 是数据生产的引擎，而真实世界数据是质量的守护者。两者协同之下，具身智能将首次获得与其野心相匹配的数据供给，真正走向“万物可学、万物可操”的通用时代。

图示解读：
生成式 AI 正在将数据生产从“人类劳动驱动”扭转为“智能体认知驱动”。通过任务-场景-轨迹的全自动生成流水线，它让具身数据首次具备了无限、自主、全面的可能。革命性的意义之下，物理真实性与长程规划仍是当前瓶颈，但一个由认知、生成、训练、验证构成的自我循环数据生态已初现曙光，具身智能正由此迈入“数据创世纪”。