logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Pi0-FAST 的 DCT + BPE 流水线拆解

本文提出FAST方法,基于DCT信号压缩将机器人连续动作序列高效编码为低频系数,显著缩短序列长度(如5个分量即达0.001误差),实现自回归模型在精细操作任务中首次媲美Pi0FM的精度,训练速度提升5倍。通过通用预训练Tokenizer复用语言模型优势,支持零样本语言跟随,且无需固定长度填充。虽推理较慢(30-50ms),但突破了传统量化导致的时序失真与训练瓶颈,实现“动作MP3压缩”式高效建模。

文章图片
#机器学习#人工智能
π*₀.₆ 与 RECAP:真机做离线 RL

本文提出RECAP框架,首次实现大模型VLA在真实机器人长程任务中通过“稀疏成败→价值估计→优势条件策略”闭环迭代优化。核心创新在于:以简单文本条件(positive/negative advantage)接入流匹配策略,兼容多源数据(演示、自主、纠错),实现端到端离线强化学习;在咖啡机、衣物叠放等复杂任务上,成功率提升近半,吞吐量超2倍,验证了通用视觉-语言-动作模型在真机持续进化的能力。

文章图片
#机器人
χ₀: Kai0 用 MA / SA / TDA 驯服机器人学习的分布不一致

χ₀基于开源π₀.₅,以“资源可承受”三件套(模型合模、阶段感知优势、训练-部署对齐)实现长程衣物双臂操作接近产线稳定。核心创新在于系统性对齐三类分布:演示(P_train)、策略(Q_model)、真机执行(P_test),破解覆盖不足、时序错配与失败级联问题。通过权重空间合模补覆盖、直接回归阶段进度信号降噪声、及增广与平滑对齐分布,实现在20小时/任务、8×A100下成功率提升250%(达近1

文章图片
#机器人
HumanEgo:机器人不模仿人的身体,只复现手与物体的关系

HumanEgo的核心创新在于提出Interaction-Centric Token(ICT),将人机模仿从视觉外观对齐转化为交互几何不变表示,实现跨身体形态的统一建模。通过分离视觉外观与运动学差异,结合稳定的手-夹爪重映射、多任务密集监督与零样本迁移,仅需15–30分钟人类视频即可在多种机器人上部署,性能超越遥操作。其最大价值在于揭示“交互几何”作为跨体感不变量的普适性,为后续研究提供关键方法论

文章图片
#机器人
UniDex-VLA:用人类第一视角视频,训出能跨 8 种灵巧手的 3D VLA

论文提出“灵巧手基础模型”的系统性创新:通过人类视频→多手型机器人轨迹的可扩展数据管线,构建首个大规模、多手型、全模态的UniDex-Dataset;设计FAAS统一动作空间,实现跨手零样本迁移;结合UniDex-VLA与人机共训(UniDex-Cap),以2:1兑换率降低真实数据成本。核心贡献在于数据生成系统与动作语义对齐机制,推动灵巧操作从“单手专用”迈向“通用可迁移”。

文章图片
#3d
从 Phantom 到 Masquerade:把人手视频改成机械臂画面

Phantom通过RGBD+HaMeR将受控人类视频中手姿转为可信3D机器人末端动作,经inpaint与MuJoCo渲染生成“机器人视角”视频,实现零样本策略训练。Masquerade扩展至野外场景,因无深度信息,仅用2D关键点辅助,以二维末端位置监督,结合真机协同训练,弥补三维不准问题,需每任务50条真实机器人数据微调。

文章图片
EgoVLA: 用第一人称人类视频训 VLA,再迁到双臂人形机

本文提出一种基于第一人称视频的连续动作预测方法,通过世界坐标系下摄像机位姿实现未来手腕位置的跨帧投影,保障监督一致性。模型融合6帧RGB图像与本体感觉信息(腕位姿、MANO参数),采用端到端轨迹解码器直接回归连续动作。训练分两阶段:人类视频预训练后在机器人仿真中微调。部署时结合坐标变换、逆运动学与专用重定向网络,实现从人类动作到仿人手的精准映射。

文章图片
#人工智能#机器人
Cloak:不改 π0.5 骨干,靠「盖住腕部里的自己」做零样本跨 Embodiment

把腕部相机里的末端执行器遮住,VLA模型就不再依赖特定机械臂/夹爪的外形来做决策

文章图片
#机器人#人工智能
EgoMimic:不用抱着机器人采数,戴副眼镜也能教机械臂

EgoMimic提出无需遥操作机器人即可通过佩戴Project Aria采集第一人称视频与手部轨迹,实现人手与机械臂数据的联合训练。通过统一坐标系对齐、共享ACT架构及双头监督(姿态+关节),使人类演示直接驱动低层控制策略,显著提升真机长程任务性能。实验证明,1小时人手数据常优于1小时机器人数据,突破传统模仿学习中“人手仅作高层规划”的局限。

文章图片
#人工智能#机器人
Behavior-1k:2026 挑战赛纯仿真 benchmark

BEHAROR-1K2026挑战赛纯仿真数据集基于OmniGibson,包含100个长程家务任务,每任务200条演示,共2万条episode、2.109亿帧(30fps),约1,953小时,总大小3.0TB。

文章图片
#机器人#人工智能
    共 20 条
  • 1
  • 2
  • 请选择