logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

GR00T 2——面向泛化、灵巧与适应性的机器人基模扩展:由Wan 2.1视频VAE、Cosmos-Reason1 VLM、MLP构成

GR00T 2 是一种世界-动作模型(World-Action Model, WAM):在给定机器人的视觉与本体感受输入以及用户指令的情况下,由单一模型同时预测场景将如何演变以及机器人将采取的动作一个预训练检查点即可同时覆盖平行夹爪机械臂、灵巧手以及仿人机器人,并从多样的源数据中学习,包括人类第一视角视频、手持式 UMI 夹爪数据以及机器人遥操作数据第一,对于输入与输出。

文章图片
程序员面试、算法研究、机器学习、大模型/ChatGPT/AIGC、论文审稿、具身智能/人形机器人、RAG等20大系列集锦

程序员面试、算法研究、编程艺术、红黑树、机器学习5大经典原创系列集锦与总结作者:July--结构之法算法之道blog之博主。时间:2010年10月-2018年5月,一直在不断更新中..出处:http://blog.csdn.net/v_JULY_v。说明:本博客中部分文章经过不断修改、优化,已集结出版成书《编程之法:面试和算法心得》。前言开博4年有余,...

文章图片
#机器学习#ChatGPT#DeepSeek
UMI——斯坦福刷盘机器人:通过手持夹爪革新数据收集方式,且使用视觉SLAM和Diffusion Policy预测动作

如下图所示a)具有不同类型动作表示的显式策略(b)隐式策略学习以动作和观察为条件的能量函数,并对最小化能量景观的动作进行优化(c)扩散策略通过学习的梯度场将噪声细化为动作。这种表述提供了稳定的训练,允许学习到的策略准确地建模为多模态动作分布,并容纳高维动作序列进一步,所谓扩散策略,是指将机器人的视觉运动策略表示为条件去噪扩散过程来生成机器人行为的新方法扩散策略学习动作-分布评分函数的梯度即该策略不

文章图片
VLM驱动机器狗——从UMI on Legs到Helpful DoggyBot:分别把机械臂装到机器狗背上、夹爪装到机器狗嘴里

今年十一7天假期期间,一半的时间都在改本博客内的上一篇文章《从Fast-UMI到Diff-Control:分别改进UMI的硬件及其所用的Diffusion policy(含ControlNet详解)》,改完之后,接下来计划要写的博客包括且不限于。然10.7日晚,又无意中看到了「UMI on Legs和Helpful DoggyBot」这两个工作,前者把UMI机械臂放到机器狗背上(适合我司之前去一个

文章图片
DexCap——斯坦福泡茶机器人:基于“胸前L515 LiDAR、手背T265 SLAM、电磁动捕手套”的便携式第一视角数采系统(硬件后为胸前D435、手背VIVE Ultimate Tracker)

2023年7月,我司组建大模型项目开发团队,从一开始的论文审稿,演变成目前的两大产品线论文方面,除了论文审稿之外,目前正在逐一开发论文翻译、论文对话、论文idea提炼、论文修订/润色/语法纠错、论文检索机器人方面,我们1月份开始攻机器人、Q1组建队伍、5月份成功复现UMI和DexCap后,本月(即6月)总算要开始为工厂赋能了(目前已经谈好三个工厂的合作意向)

文章图片
Fast-UMI——改进斯坦福UMI的硬件:用RealSense T265替代SLAM且实现机械臂的迁移与平替(含归类好的全部硬件清单)

24年9.28日下午,微信上的好友丁研究员和我说我当时(周六)和家人在李自健美术馆,故回复之:帅气,我晚上到家后看下我个人确实准备 这几天仔细研究下,毕竟我们之前也在基于umi/dexcap做二次开发,有很多契合点我深知这种感觉,因为当我司做出一个大模型应用或机器人解决方案,哪怕只是一篇博客时,都渴望和同行做各种深入交流而且正如技术合伙人姚博士所说,“fastumi数据采集方式的改进强,因为我们当

文章图片
π0——用于通用机器人控制的VLA模型:一套框架控制7种机械臂(基于PaliGemma和流匹配的3B模型)

在此文之前,我花了一天半,详细解读了清华这个机器人扩散大模型RDT,包括其每一个附录,并在上文中预告说:​下一篇是一个3B的机器人大模型打通7种不同品牌的机械臂,这几个工作宣告机器人真正进入大模型时代故,本文来了。

文章图片
RoboPocket——从UMI式被动采集到无机器人即时策略迭代:基于iPhone与AR视觉前瞻的实时闭环数采系统(无需离线SLAM后处理)

RoboPocket系统,用iPhone实现具身数据采集与策略迭代,AR视觉前瞻,即时迭代,打破数据缩放瓶颈,硬件同构,实验验证。摘要应简洁。</think>本文提出RoboPocket系统,利用iPhone作为边缘计算枢纽,结合同构夹爪与AR视觉前瞻,实现闭环数据采集与无机器人即时策略迭代。该系统通过实时反馈验证数据质量,在线微调策略,突破传统行为克隆的数据扩展瓶颈。实验表明,其数据

文章图片
Aspire——用于机器人技术的Agentic/SkillsDiscovery:让机器人从失败中改程序、攒技能、持续进化(新技能既能解决新任务,也能回头补救旧任务,并迁移到真机)

ASPIRE提出一种自进化机器人系统,基于“代码即策略”范式,通过闭环执行引擎记录原语级多模态轨迹,实现细粒度故障诊断;构建可复用技能库,将验证后的修复模式提炼为in-context指导;结合进化搜索拓展调试多样性。系统持续积累经验,支持跨任务迁移与零样本泛化,显著提升机器人在复杂场景中的自主修复与学习能力。

文章图片
Aspire——用于机器人技术的Agentic/SkillsDiscovery:让机器人从失败中改程序、攒技能、持续进化(新技能既能解决新任务,也能回头补救旧任务,并迁移到真机)

ASPIRE提出一种自进化机器人系统,基于“代码即策略”范式,通过闭环执行引擎记录原语级多模态轨迹,实现细粒度故障诊断;构建可复用技能库,将验证后的修复模式提炼为in-context指导;结合进化搜索拓展调试多样性。系统持续积累经验,支持跨任务迁移与零样本泛化,显著提升机器人在复杂场景中的自主修复与学习能力。

文章图片
    共 561 条
  • 1
  • 2
  • 3
  • 57
  • 请选择