logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

HoloAgent-0——具备三维空间记忆的统一具身Agent框架:Agent自主拆解、规划,且按需调用技能层中的导航、VLA操作、全身运控,以及记忆层中的空间与时间记忆

HoloAgent-0是一个面向真实世界机器人的统一具身智能体框架,通过三层架构实现闭环执行:1) Embodied AgentOS作为运行时层进行任务规划与监控;2) 技能层将机器人能力抽象为可组合的带类型动作;3) 记忆层维护3D空间记忆和执行历史。该框架通过ROS2接口连接异构机器人能力,支持导航、操作、全身运动等技能的组合执行,并利用持久化记忆实现长期任务跟踪和失败恢复。实验验证了其在3D

文章图片
HOMIE——遥操类似ALOHA主从臂的外骨骼驾驶舱收集数据:通过上肢模仿学习和全身控制RL训练自主策略

本文一开始是属于此文《人形loco-manipulation专题——涵盖Mobile-TeleVision、外骨骼驾驶舱HOMIE、下肢RL-上肢模仿的AMO、上下双智能体联合训练的FALCON》的第二部分的但考虑到在这4个针对loco-manipulation的模型中,我想先尝试一下其中的这个HOMIE加之,HOMIE相对开源的更彻底,更想把其介绍的更详尽细致些考虑到为了避免对上文篇幅过长的担忧

文章图片
Q-chunking——带有动作分块的强化学习:基于人类演示,进行一定的连贯探索(且可做到无偏的n步价值回溯)

UC伯克利提出Q-chunking方法,通过动作分块改进离线到在线强化学习。该方法在动作序列层面运行RL策略,预测并执行未来h步动作,利用时序差分训练评估器进行无偏的n步价值回传。研究显示,这种方法能加速价值传播、保持无偏估计,同时通过行为约束利用离线数据中的时序连贯动作序列,有效缓解探索难题。相比分层RL,Q-chunking简化了优化过程,在保持探索优势的同时提升了样本效率。相关代码和论文已在

文章图片
X-VLA——基于Soft Prompt的Transformer编码器练就可扩展的跨本体VLA:VLM做多模态感知,DiT-style做动作生成

摘要:本文提出X-VLA模型,通过SoftPrompt机制解决跨具身机器人学习中的异质性问题。该模型为不同数据源分配可学习嵌入,有效整合硬件配置差异,提升泛化能力。训练分两阶段:先在异构数据上预训练通用策略,再通过微调适配新具身形态。实验表明,X-VLA能在仅增加少量参数的情况下,显著提升模型对多样化机器人系统的适应能力,为具身智能的跨平台部署提供新思路。(149字)

文章图片
iDP3的人形遥操代码分析:数据收集、数据转换到人形机器人VR遥控(含动作重定向)

如此文《》的第三部分开头所说跑iDP3的整个流程分为:数据采集、数据转换、数据预处理,然后做训练、部署、可视化,具体而言,iDP3开源了两个代码仓库,一个是学习,一个是摇操作,其中对于后者,已经在这两篇文章里「」进行了详尽细致的分析,对于前者,则是本文。

文章图片
SONIC——面向人形全身控制的通用追踪器:统一的通用token空间下支持多种运动输入接口,且可通过VR做全身数采以微调VLA做loco-mani任务(低层控制器基于MLP)

摘要:SONIC是一个通用的人形机器人运动控制框架,通过统一控制策略实现多样化运动指令追踪。其核心创新在于采用共享潜在表示,支持机器人运动、人类运动及混合运动的无缝处理。系统支持多模态输入(视频、文本、音乐、VR)和多种控制方式(全身遥操作、三点式遥操作、VLA自主控制),在"苹果到盘子"任务中达到95%成功率。基于700小时人体运动数据训练,采用PPO算法和域随机化增强鲁棒性

文章图片
程序员面试、算法研究、机器学习、大模型/ChatGPT/AIGC、论文审稿、具身智能/人形机器人、RAG等20大系列集锦

程序员面试、算法研究、编程艺术、红黑树、机器学习5大经典原创系列集锦与总结作者:July--结构之法算法之道blog之博主。时间:2010年10月-2018年5月,一直在不断更新中..出处:http://blog.csdn.net/v_JULY_v。说明:本博客中部分文章经过不断修改、优化,已集结出版成书《编程之法:面试和算法心得》。前言开博4年有余,...

文章图片
#机器学习#ChatGPT#DeepSeek
HEAD——视觉驱动下的自主配送(本质是VLN):高层规划器发出手部和眼部的目标位置与朝向指令,低层全身控制策略则执行导航与触达,暂无法抓取

斯坦福研究者提出HEAD系统,实现人形机器人自主导航与触达功能。该系统采用模块化设计,高层策略负责视觉导航和手眼协调,低层控制器基于模仿学习实现全身运动控制。创新性地结合大规模人类数据与少量机器人数据训练,通过GAN强化学习方法解决动作模仿挑战,并采用域随机化增强系统鲁棒性。该工作首次实现人形机器人基于自我中心视觉的端到端导航与触达能力,为类人机器人应用提供了新思路。

文章图片
强化学习极简入门:通俗理解MDP、DP MC TD和Q学习、策略梯度、PPO

强化学习里面的概念、公式,相比ML/DL特别多,初学者刚学RL时,很容易被接连不断的概念、公式给绕晕,而且经常忘记概念与公式符号表达的一一对应(包括我自己在1.10日之前对好多满是概念/公式的RL书完全看不下去,如今都看得懂了,故如果读文本之前,你正在被RL各种公式困扰,相信看完这篇RL极简入门后就完全不一样了)。

文章图片
英伟达HOVER——用于人形机器人的多功能全身控制器:整合不同的控制模式且实现彼此之间的无缝切换

人形机器人是一种多功能的形态,支持多种机器人任务和应用,包括双手操作[1–3]、双足行走[4–7]和灵活的全身控制[8–14]。尽管这些努力展示了令人印象深刻的成果,每个项目都根据其特定任务和场景使用了不同的全身控制公式。

文章图片
    共 463 条
  • 1
  • 2
  • 3
  • 47
  • 请选择