
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
该结果表明,仅使用窄域数据微调大预训练模型,不足以得到可在真实野外场景部署的机器人策略。因此,采集多样化的开放式真实场景数据,对于模型适配全新环境与未知物体、实现有效泛化依然至关重要。
基于仿真的数据合成,现已成为提升真实世界机器人操作能力的强大技术范式。然而现有合成数据集,依旧无法支撑鲁棒的双臂机器人操作,根源来自两大挑战:1.缺乏高效且可扩展的数据生成方法用于新任务。2.过于简化的模拟环境,未能捕捉真实世界的复杂性。我们提出了RoboTwin 2.0,一个支持自动化,大规模生成多样和真实数据,并且能够去配套统一的双臂操作的测评标准的可扩展仿真框架。我们首先构建了RoboTwi
HDF5 是一种层次化的数据格式,可以像文件夹一样将图像、本体感受(Proprioception)、深度信息和机械臂动作序列打包在同一个文件中。适用模型/框架:ACT。
精细操作任务依赖高精度闭环反馈,需要机器人具备极强的手眼协调能力,从而根据环境变化实时调整动作、重新规划轨迹。此类操作任务的例子包括打开调味杯盖或安装电池,这些操作涉及精细的操作,如捏合、撬开和撕裂,而非像挑选和放置这样的大动作。以图 1 中打开调料杯盖为例:杯子初始竖直放置在桌面,右侧夹爪需要先将杯子放倒,再推送至左侧张开的夹爪内;然后左侧的夹爪轻轻合上,将杯子从桌上抬起。接着,右手一根手指从下
在构建 HDF5/Zarr 等大规模具身数据集时,我们需要定义“动作”。相比于“相对关节位移”或“末端 6DoF 位姿”,为什么 ACT 在绝大多数开源工程实践中,偏好将网络输出的 Action 定义为“绝对关节位置 (Absolute Joint Positions)”?
与 Octo 这种从头训练并拼凑各个预训练组件(视觉、语言分立)的做法不同,OpenVLA 采用了端到端(End-to-End)的直觉范式:它直接将预训练的视觉-语言大模型(Prismatic-7B)作为骨干,把机器人动作当成一种外语,通过语言模型的自回归机制进行微调预测。实验表明,如果仅在目标数据上微调,模型其实能完成简单的单一指令,但在面临多指令干扰、从未见过的桌面背景或新物体(Semanti
机器人学习有望充分释放。
本文提出扩散策略(Diffusion Policy),一种全新的机器人行为生成范式:将机器人视觉运动策略建模为条件去噪扩散过程。本文在 4 套机器人操作基准测试集、共计 12 项不同任务上对扩散策略开展全面基准评测,结果表明:该方法性能持续超越现有业界最优机器人学习算法,平均性能提升达46.9%。扩散策略学习动作分布得分函数的梯度,推理阶段通过多步随机朗之万动力学沿该梯度场迭代优化输出动作。研究发
把机器人的“动作规划”,变成一个类似于“AI生成图像”的去噪过程。你给 AI 一段文字(Prompt),AI 先生成一张完全是由雪花噪点组成的乱码图,然后一步步把噪点去掉,最后变成一张精美的猫咪照片。机器人身上的摄像头拍到的当前画面,以及它的机械臂当前的位置(这些被称为 Observation/条件)。不是生成一张画,而是生成未来一段时间内机械臂要走的一系列轨迹(Action Sequence)。
在互联网规模视觉 - 语言数据与多样化机器人示教数据上预训练的大尺度策略模型,有望彻底变革机器人新技能的习得方式:无需从零开始训练新行为,只需对这类视觉 - 语言 - 动作(VLA)模型进行微调,即可获得具备强鲁棒性与泛化能力的视觉运动控制策略。然而 VLA 模型在机器人领域难以普及,主要存在两大瓶颈:1)现有 VLA 模型大多闭源,无法公开使用;2)过往研究缺乏面向新任务的高效微调方案,而这恰恰








