参考论文:https://arxiv.org/pdf/2505.02833v1
开源代码:https://yanjieze.com/TWIST/

0. 简介

想象一下,如果机器人能像人类一样弯腰搬箱子、踢足球,甚至跳一支优雅的华尔兹,这将意味着什么?斯坦福大学吴佳俊教授团队最新研发的TWIST系统(Teleoperated Whole-Body Imitation System,远程操作全身模仿系统)正在将这一科幻场景变为现实!

过去的人形机器人系统大多局限于单独的行走或手臂操作任务,难以实现协调的全身动作。TWIST系统通过实时捕捉并精准模仿人类全身动作,让机器人使用单一控制器实现前所未有的多样化技能,从基础的行走、抓取到复杂的全身协调动作,真正让机器人"全方位模仿"人类成为可能。

本文将深入解析TWIST系统的工作原理、核心创新点及其在具身智能领域的重要意义。
在这里插入图片描述

图1:远程操作全身模仿系统(TWIST)是一种通过实时全身人类数据和单一神经网络控制器来远程操作类人机器人系统。TWIST 实现了多功能、协调的全身技能,这些技能在以往的研究中并不存在。

1. 主要贡献

TWIST系统的主要贡献可概括为以下三点:

  1. 创新性远程操作全身模仿系统:设计并实现了一套完整的系统,通过实时捕捉并模仿人类全身运动,使人形机器人能执行多样化、协调的全身技能,包括全身操作、腿部操作、移动和富有表现力的动作。

  2. 统一的神经网络控制器:采用强化学习和行为克隆(RL+BC)相结合的方法训练了一个统一的神经网络控制器,能够稳健、准确地跟踪目标动作,有效解决了协调全身运动的复杂问题。

  3. 系统性分析与优化:对控制器训练流程和整个系统进行了全面分析,明确了影响系统性能的关键因素,为未来人形机器人控制系统的优化提供了宝贵经验。

2. 相关工作

2.1 人形机器人控制的经典挑战

人形机器人的控制一直是机器人学领域的重大挑战。传统方法主要依赖基于模型的控制器,通常将远程操作和平衡控制分为独立模块处理。这种模块化方法虽然结构清晰,但严重限制了机器人的全身协调能力和系统鲁棒性,导致机器人动作僵硬、不自然。

2.2 基于学习的控制方法

近年来,基于学习的控制方法展现出巨大潜力。研究者们尝试通过深度强化学习和模仿学习等技术,让机器人学习更自然、更灵活的动作。然而,现有方法在协调全身技能方面仍然存在明显不足,主要是因为缺乏准确、实时的全身跟踪目标和足够强大的控制器。

2.3 人类动作捕捉与重定向

将人类动作应用到机器人上涉及复杂的动作捕捉与重定向问题。由于人类与机器人在身体结构上的差异,简单的"复制粘贴"无法实现高质量的动作迁移。现有的离线重定向方法虽然效果较好,但无法满足实时远程操作的需求;而实时重定向方法则常常面临准确性和稳定性的挑战。

3. 核心算法

TWIST系统的核心技术框架建立在三大支柱之上:大规模人形运动数据集的精细处理、基于教师-学生框架的先进控制器训练、以及高效的实时远程操作实现方案。这三部分紧密结合,共同构成了一个能让机器人实现全身协调动作的完整系统。
在这里插入图片描述

图2:远程操作全身模仿系统(TWIST)展示了在真实世界人形机器人上多功能、协调且类人化的全身技能。我们的机器人能够执行全身操控(例如,从地面提起箱子)、腿部操控(例如,踢足球)、运动(例如,侧向行走)以及富有表现力的动作(例如,华尔兹舞)。更多视频请访问:humanoid-teleop.github.io

在这里插入图片描述

图3:遥控全身模仿系统(TWIST)由三个阶段组成:1) 通过重定向互联网人类数据和我们的运动捕捉(MoCap)数据来创建人形运动数据集;2) 在模拟环境中训练单个全身控制器;3) 利用运动捕捉设备对真实世界的人形机器人进行遥控操作。

3.1 人形运动数据集整理与重定向

数据是TWIST系统的基石。研究团队精心整合了两大类数据来源:

第一类是公开大型动作捕捉数据库AMASS和OMOMO,包含超过15,000个动作片段,总计约42小时的丰富人类动作。这些数据提供了多样化的人类运动模式,为控制器学习各种动作奠定了基础。

第二类是团队自行收集的内部数据集,虽然规模较小(约0.5小时),但更贴近实际远程操作场景,包含了真实操作环境中可能出现的噪声和不完美校准情况。

数据收集后的核心挑战是动作重定向——如何将人类动作适配到机器人框架。团队针对不同数据源采用了差异化策略:

对于大规模公共数据集,采用类似PHC的离线重定向器,通过优化关键身体位置点和时间平滑度来生成高质量机器人动作参考。这种方法虽然计算密集,但能产生非常流畅自然的动作序列。

对于内部数据集,开发了改进版在线重定向器,能够实时处理动作数据。该重定向器使用逆运动学(IK)方法快速调整身体方向和脚部位置,并通过联合优化3D关节位置和方向,有效缩小了离线和在线重定向质量的差距,使系统在实时应用中也能保持良好表现。

3.2 创新的两阶段控制器训练框架

TWIST系统最大的技术突破在于其独特的控制器训练方法。与传统单阶段强化学习方法不同,TWIST采用了两阶段教师-学生训练框架,解决了实时动作跟踪中的关键挑战。

第一阶段:特权教师策略训练

教师策略的核心优势在于它能"看见未来"。具体来说:

  • 输入包含未来2秒的参考动作帧序列,让控制器能够预见即将到来的动作
  • 使用PPO(近端策略优化)算法训练,配合精心设计的奖励函数
  • 奖励结构包括跟踪奖励(鼓励精确模仿)和惩罚项(抑制抖动、脚部滑动等不自然行为)
  • 通过预见性规划,教师策略能够生成更加平滑、自然的运动轨迹

这种"有先见之明"的教师策略虽然表现优异,但在实际部署中无法获取未来动作信息,因此需要进入第二阶段训练。

第二阶段:可部署学生策略训练

学生策略的训练采用了强化学习与行为克隆的创新结合:

  • 学生策略只能访问当前本体感受信息和当前参考动作帧
  • 训练采用混合损失函数: L ( π s t u ) = L R L ( π s t u ) + λ D K L ( π s t u ∥ π t e a ) L(π_{stu}) = LRL(π_{stu}) + λD_{KL}(π_{stu} ∥ π_{tea}) L(πstu​)=LRL(πstu​)+λDKL​(πstu​∥πtea​)
  • 其中LRL是基于与教师相同奖励的PPO损失,DKL是学生策略与教师策略之间的KL散度
  • 训练过程中逐渐减小λ值,平衡模仿学习和独立探索能力

实验结果表明,这种RL+BC混合方法显著优于单纯的强化学习或行为克隆方法,在跟踪精度和运动平滑度方面都表现更佳。学生策略成功地从教师策略中蒸馏了关键知识,同时保持了对实时输入的快速响应能力。

3.3 高效实时远程操作系统实现

将训练好的控制器部署到真实机器人,TWIST构建了一个完整的实时远程操作管道:

首先,使用OptiTrack动作捕捉系统以120Hz的高频率精确捕获人类操作者的全身动作。这种专业级动作捕捉设备能提供毫米级精度的3D关节位置和方向数据。

接着,通过改进的在线重定向器以50Hz的频率将人类动作转换为适合机器人的参考动作。这个环节至关重要,它解决了人类与机器人之间的结构差异问题,确保动作在保持原意的同时适应机器人的物理特性。

然后,训练好的神经网络控制器在Nvidia RTX 4090 GPU上以50Hz的频率接收重定向动作,并输出精确的关节位置命令。控制器能够实时调整动作以适应机器人当前状态,确保稳定性和跟踪精度。

最后,生成的关节位置命令被发送到机器人的低级PD控制器,以1000Hz的超高频率执行,确保动作的流畅性和精确性。

整个管道从人类动作捕捉到机器人执行的端到端延迟约为0.9秒,主要来源于目标生成环节。尽管存在这一延迟,系统仍能实现高度协调的全身动作,这在以往的远程操作系统中是难以实现的。

4. 实验与结果

4.1 全身远程操作能力验证

TWIST系统在Unitree G1人形机器人上展示了卓越的远程操作能力,实现了多种类似人类的全身技能:

  • 全身操作:弯腰捡箱子、双手举物等
  • 腿部操作:单腿踢球、侧踢等动作
  • 移动能力:向各个方向行走、转身等
  • 表现力动作:舞蹈、手势等富有表现力的动作

在另一款机器人Booster T1上的测试同样表明,控制器具有良好的迁移能力,能成功跟踪多种运动。

在这里插入图片描述

图6:(左)不同控制器的跟踪误差,基于我们的运动捕捉测试数据进行测量。(右)控制器的行为。我们的强化学习加行为克隆(RL+BC)控制器展现出平滑且稳健的表现。

4.2 消融实验关键发现

  1. 控制器训练方法比较:RL+BC组合的跟踪精度和运动平滑度显著优于纯RL和纯BC(DAgger)
  2. 数据来源影响:即使少量内部MoCap数据也能显著降低对未知运动的跟踪误差
  3. 训练策略优化:加入末端执行器扰动可提高接触和施力任务中的稳定性
  4. 重定向器改进:优化在线重定向器可减少整体跟踪误差

在这里插入图片描述

图7:(左)机器人持有一个箱子时在现实世界中的展开曲线。(右)在MuJoCo中,使用不同控制器跟踪运动捕捉数据时的展开曲线。

4.3 系统性能分析

  1. 跟踪误差分布:末端执行器(手和脚)跟踪误差最大,下半身部位比上半身跟踪误差更高
  2. 系统延迟:远程操作总延迟约0.9秒,主要来自生成跟踪目标环节
  3. 可达性提升:系统通过利用全身自由度显著提高了动作可达性
  4. 健壮性:即使在极端测试条件下,策略仍能保持强大的平衡控制能力

5. 结论与展望

TWIST系统代表了人形机器人远程操作领域的重大突破,通过实时全身模仿技术,实现了前所未有的、多样化且协调的全身技能。与先前工作相比,TWIST系统充分利用机器人的全身关节,显著扩展了人形机器人的能力边界。

Logo

更多推荐