机器人接触密集型操作(例如按下插座的钮按,然后将充电器插入插座以及拔下插座上的充电器等)都需依赖扭矩等力信号反馈来判断任务状态并实现闭环控制,但现有的VLA模型(例如RDT、${\pi}_0$等)都没有整合此类物理反馈数据,要知道仅凭借RGB视觉和语言信息输入是很难做到精细的物理交互的。由BAAI智源研究院、清华大学人工智能产业研究院以及南洋理工大学合作研究的Torque-aware VLA模型(以下简称TA-VLA),通过在VLA架构中融合扭矩信号,填补了整合物理反馈与VLA模型这一研究领域的空白。

▲图1|视频展示了TA-VLA按下插座的钮按,然后将充电器插入插座,最后再拔下插座上的充电器的密集操作任务,有意思的是在按下插座的钮按的环节,按钮并没有完全被按下,可见:1、团队非常务实,敢于将不完美的一面展示给大家看(小编开玩笑啦~);2、可见TA-VLA模型在精细控制上还有改进空间

小编在阅读TA-VLA后对它的核心研究成果进行总结说明:

2.1 设计了一个动作-扭矩扩散模型

论文通过多组实验对比,最终得到动作-扭矩扩散模型

1、输入数据:

●RGB视觉

●文本指令

●关节扭矩$\tau$

●本体关节角度$q$

2、编码器模块:基于${\pi}_0$模型:视觉编码器采用PaliGemma-3B,语言编码器采用BERT-base

3、解码器模块(TA-VLA的核心设计部分):

核心要点说明:

●在解码器上融合扭矩信息,效果收益最高;

▲图2|设计了3中嵌入扭矩信号的架构来说明编码器融合扭矩最好:(a)Enc Arch:拼接图像、文本、关节扭矩$\tau$,然后输入到编码器 (b)DePre Arch: 将关节扭矩$\tau$和本体关节角度$q$拼接后输入到解码器 (c)DePost Arch: 将前置动作和关节扭矩$\tau$拼接后输入到解码器,(b)(c)效果都好于(a),并且(c)好于(b)

● 将整个扭矩历史整合为单一token输入到解码器中是最优的扭矩历史信息的处理方式;

▲图3|设计了4中嵌入历史扭矩信息的架构来说明将整个扭矩历史整合为单一token输入到解码器中是最优的扭矩历史信息的处理方式:(a)和(b)都在编码器中嵌入扭矩历史信息,(a)是整合成单一token嵌入,(b)是每一帧对应一个token;(c)和(d)都在解码器中嵌入扭矩历史信息,(c)是整合成单一token嵌入,(d)是每一帧对应一个token;(c)(d)效果均好于(a)(b),且(c)效果好于(d)

那如何将历史扭矩整合成单一token呢?:例如将10帧历史扭矩数据进行扁平化处理并拼接,形成一个140维的单一token,再将该token输入到MLP中;

● 联合动作-扭矩扩散去噪,平衡动作生成精度与扭矩预测精度,从而最小化损失来得到最优动作和扭矩。

▲图4|TA-VLA的动作-扭矩扩散架构

那具体如何联合去噪?:

动作块 $(a_t)$:未来 H 步 (如 H=10) 的关节动作序列,维度为 H x 14 (14 对应机械臂 14 个关节的角度/速度);

扭矩块$(\tau_t)$: 未来 H 步的关节扭矩序列,维度为 Hx14 (与动作块的关节一一对应);

联合 token: 通过 “维度拼接” 将$a_t$ 与 $\tau_t$合并为Hx28的矩阵 (每一行包含对应时间步的 “动作+扭矩” 信息),形成 “时空耦合的物理序列”。

损失计算: 通过$L_{joint}$联合优化动作精度和扭矩预测精度, 
$L_{joint}(\theta) = L_{action}(\theta) + \beta L_{torque}(\theta)$, 其中,$L_{action}(\theta)$为动作去噪损失,$L_{torque}(\theta)$为扭矩去噪损失,$\beta$ 为权重因子

4、 输出数据:输出最终动作序列,用于机器人控制;同时输出预测的扭矩序列。

2.2 论文还总结出了VLA融合扭矩信息的几个关键性发现

第1个发现:扭矩能否反馈外力情况,它们是存在映射关系的?

末端外力到关节扭矩是存在映射关系的,只要精确建立内部动力学模型,通过 “实测扭矩与预期扭矩的偏差”,就能在没有外部力传感器的情况下反向推断末端执行器是否接触、接触力的大小与方向等状态信息。论文设计的动力学模型如下:

第2个发现:在解码器上融合扭矩信息比编码器上效果更好,为什么呢?

一是因为扭矩与关节角度在输入上对齐程度最高,因此在解码器中整合可以更好的利用两者的相关性来增强本体感受。论文中通过归一化HSIC分析了几种模态之间的相关性,发现扭矩信号与关节角度的相关性显著高于其他模态 :

●  扭矩 vs. 关节角度:HSIC值=0.75(强相关性)

●  扭矩 vs. 图像/语言:HSIC值=0.25(弱相关性)

▲图5|不同模态输入token在隐藏状态上的归一化HSIC值

二是因为解码器敏感性更高,原因是解码器设计目标是捕捉输入的细微变化(用于精准动作生成),而编码器则侧重于处理粗粒度的视觉-语言上下文信息。论文中通过在编码器和解码器中加入随机噪声的方式进行实验,对解码器输入添加噪声后,Button Pushing任务成功率从5/20降至0/20,而对编码器添加噪声后仅使成功率从5/20降至 4/20,证明解码器对输入变化更敏感,能更好利用扭矩的细微变化。

▲图6|在编码器和解码器中加入随机噪声的结果

第3个发现:为什么说将整个扭矩历史整合为单一token输入到解码器中是最优的扭矩历史信息的处理方式?

因为解码器在预训练阶段已学习了固定的输入模式,如果采用多token拆分(例如:历史的每一帧扭矩对应1个token)就会增加输入序列长度,从而破坏了预训练时的输入结构。因此说将整个扭矩历史信息整合到单一的token中输入到解码器中是最优的扭矩历史信息处理方式。论文中分别在编码器上采用单一token和多token、编码器上采用单一token和多token进行实验,可以发现Button Pushing和Charger Plugging2项任务中,编码器上采用单一token的方式整合历史扭矩的效果最好,证明单一token 整合既能保留历史信息,又能维持架构稳定性。

第4个发现:扭矩和动作之间是否存在因果关系,预测扭矩如何辅助任务?

从第1个发现可以知道,扭矩是能反馈外力信息的,然而外力信息和动作存在动力学关系,所以扭矩预测可以进一步干预动作的生成,TA-VLA是基于联合动作-扭矩扩散的模型,核心是在动作生成的同时预测未来扭矩,它的目标是平衡动作生成精度与扭矩预测精度,从而最小化损失来得到最优动作和扭矩:

$L_{\text{joint}}(\theta) = L_{\text{action}}(\theta) + \beta L_{\text{torque}}(\theta)$,其中,$L_{\text{action}}(\theta)$为动作去噪损失,$L_{\text{torque}}(\theta)$为扭矩去噪损失,$\beta$为权重因子

核心实验结果

项目说明

项目内容

硬件平台

Cobot Magic ALOHA(7DoF/臂,3个 D435相机)、ROKAE SR机械臂;扭矩通过电机电流估算(τ=kti)

基线模型

ACT、RDT、π₀;均基于公开预训练权重微调,训练条件一致(如π₀训练30k 步,4×L20 GPU)

任务设计

10项任务:5项接触密集型(Button Pushing、Charger Plugging 等)、5项常规任务(Bottle Pick and Place 等);每项任务20次测试

模型变体

π₀+obs(DePost-1架构整合扭矩观测)、π₀+obj(添加扭矩预测损失)、π₀+obs+obj(两者结合)

▲图7|在5项高频接触任务和5项常规任务中,每项任务均评估了20次试验的成功率。TA-VLA的方法及其变体始终优于基线方法,尤其在高频接触任务中表现突出。

TA-VLA仅通过在解码器上进行扭矩历史的单token聚合编码与动作-扭矩联合扩散生成,就达到了在接触密集型任务中远超传统VLA模型的成功率(如充电器插入任务成功率提升50%以上),带来了无需外部力传感器即可实现精准物理交互的优势。

项目地址:https://zzongzheng0918.github.io/Torque-Aware-VLA.github.io/

Logo

更多推荐