
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
SONIC 的核心贡献在于实现运动表示与机器人控制的解耦,通过构建统一的64维离散运动令牌(Universal Token)空间,将不同来源(如SMPL、遥操作、VLA等)的运动意图对齐至共享潜空间,并以令牌条件化策略(token-conditioned policy)驱动通用全身控制器。其创新点在于:1)跨模态潜变量对齐;2)基于FSQ的语义动作抽象;3)统一接口支持多源输入。当前限制包括令牌空
第五阶段 SONIC Deploy 旨在实现从 64-D Universal Token 到 G1 真实关节运动的端到端部署。系统分为三层:输入层接收 VLA 输出的 token;SONIC 控制器将 token 与机器人状态融合,通过 TensorRT 推理生成 29-D 动作;执行层则将动作转化为电机位置指令,经 Unitree DDS 发送至 G1。关键在于,VLA 直接输出 token,可
第四阶段聚焦VLA如何生成SONIC可理解的64-D Universal Token。系统由PolicyServer(运行VLA模型)、run_vla_inference.py(数据协调与传输)和C++ SONIC Deploy(实时控制)构成。VLA输入包含视觉(主视角+手腕相机)、机器人状态(关节位姿、重力投影)及语言指令,输出为78-D动作空间:其中64-D为通用运动令牌(motion to
第四阶段揭示VLA与SONIC系统的交互机制:通过run_vla_inference.py实现跨进程通信,将视觉、机器人状态与语言输入送入VLA模型,输出64维motion token。该token经延迟补偿后,作为通用动作表示(Universal Token)通过ZMQ发送至C++ SONIC部署模块,由其解码为78维关节指令。关键结论:VLA与SONIC间交换的是压缩的运动隐变量(motion
本阶段将上一阶段生成的Universal Token接入完整强化学习闭环,构建基于PPO的策略框架。核心结构为:运动参考经编码与FSQ量化得64维token,结合机器人本体感知(proprioception),通过G1动态解码器生成动作均值,再由Gaussian分布输出随机动作。该设计实现“未来意图”与“当前状态”的协同控制,支持时序历史建模,最终输出29自由度关节位置指令,经Isaac Lab仿
推荐系统中,BiasSVD 通过引入偏置项,解决了 FunkSVD 无法区分 “系统性偏差” 和 “用户 - 物品交互” 的问题,是更常用的矩阵分解模型。在实际应用中,BiasSVD 通常比 FunkSVD 表现更好,尤其在评分数据稀疏时,偏置项的作用更为明显。

本文梳理了SONIC系统从VLA到执行的完整链路,明确其并非传统PD控制器,而是基于统一动作表示(Universal Token)的全身行为基础模型。当前代码中,78维动作空间包含64维运动令牌与双手关节角,表明该令牌既是内部表征,也是高层策略可操作的控制接口。通过分析训练配置与架构,揭示SONIC以“运动参考→观测”为核心,采用分层结构实现从动作意图到物理执行的端到端映射,为后续通用动作生成与部
本文以六阶段解析SONIC项目架构,聚焦端到端数据流:从VLA/运动源输入,经多模态观测构建(含SMPL、Teleop、G1状态),通过G1/Teleop/SMPL三编码器提取特征,经FSQ共享离散化生成通用token,最终由动态解码器输出关节动作。代码实现清晰分层,支持ONNX/TensorRT部署,训练采用Hydra配置体系与PPO+辅助损失。核心创新在于“通用token”机制,实现跨任务泛化
本报告系统梳理人形机器人运动控制技术五大层次:运控基座(路线A/B对比)、数据生成、学习范式、感知运控与全身VLA。核心结论:路线A(监督跟踪)精度高但泛化弱,路线B(无监督表征)具可组合性与低训练成本,正快速逼近跟踪精度。短期落地推荐“监督跟踪+动作token接口”架构,中期趋势为可提示行为表征基座。关键进展包括BFM-Zero/UFO实现单卡高效训练,OmniRetarget等重定向技术支撑数

人形机器人髋关节的pitch(俯仰)、roll(滚转)、yaw(偏航)三个自由度的排列顺序直接影响运动性能、机械结构和控制策略。主流设计包括Pitch-Roll-Yaw(符合人体运动习惯)、Roll-Yaw-Pitch(侧向响应快)和Yaw-Roll-Pitch(重心稳定)等方案。







