logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

GPT-6 太慢?清华叉院提出 Spotter:具身模型先执行,VLM 只在出错时介入

研究团队在 Franka Research 3 机械臂上部署 Spotter,具身模型为基于遥操作数据微调的 π0.5,测试了三项任务:叠杯、将方块放入杯中,以及包含两个子步骤的长程任务(先将方块放入杯中,再将另一方块放至盘中),每项任务测试 10 次。这里的具身模型,指直接输出机器人动作的模型,如视觉-语言-动作模型(VLA)π0.5、世界动作模型 Cosmos Policy。实验显示,在相同步

文章图片
#机器人
在最难的泛化任务上,它比 Harness VLA 高 31 个点!

在外层构建一套自进化智能体框架,借助假设图做信息价值引导的物理试验选择,让代码和技能协同进化,再通过强化学习筛选有价值的分层记忆,每一次实体机器人试错都产出最大的信息收益。快速系统维护一张假设图,节点代表候选的代码假设、技能假设,边记录假设之间的迭代 refine 关系,每一次物理试验得到的轨迹、任务成败证据,用来更新各个假设的置信度。,打造了一套自进化智能体外层框架,让机器人自主判断下一步该探索

文章图片
#机器人
具身智能卷到模型层之后,竞争开始往 Harness 上转移了……

Thea:论文(https://arxiv.org/abs/2608.11246)、系统架构(https://eit-hai.github.io/thea/system.html)、物理世界接口(https://eit-hai.github.io/thea/gaps.html)、实验(https://eit-hai.github.io/thea/experiments.html)图中左侧提供已知测

文章图片
#机器人
具身智能的下一层:VLA、WAM 之后,抢的是 Harness 这层“衔接”

这样看,VLA 更强调观测、目标与动作之间的连接,WAM 更明确地学习动作对应的未来变化,两种能力也可以融合在同一个模型中。▲图4 | SelfWAM 中部展示训练时视频与动作信息如何交互,右上角给出单独的动作预测路径,右下角是可选的视频预测路径。两条路径的分开,使模型既能利用世界预测学习动作,也能在执行时保留较轻的动作生成流程。底部箭头将执行后的真实观测重新送回模型,刷新历史信息,让下一轮动作依

文章图片
机器视觉中CNN与Transformer的原理及应用差异

涵盖鸟瞰图视角场景重建,多雷达与相机传感器特征融合,车辆行人轨迹预测以及可行驶区域精细化分割等核心任务,现有量产自动驾驶方案多采用卷积主干加Transformer辅助建模的混合结构。,这类机器人需要动态识别多变环境中的物体关联,需要建模远距离场景布局,全局注意力机制可以有效提升复杂环境下的感知鲁棒性,帮助机器人完成避障路径规划和适应动态场景。动态避障也是类似逻辑:卷积擅长认出"这是什么",但很难判

文章图片
#计算机视觉
港科广UniWAM:把VLA和WAM揉进同一个Transformer,仿真真机双SOTA

而更有参考价值的是分布偏移测试LIBERO‑Plus,用来模拟光照、视角、物体布局、机器人状态、语言指令扰动,UniWAM总体成功率92.6%,在机器人本体扰动、语言指令、光照、背景扰动维度上取得最优结果。三者通过共享的注意力层互相交换信息,动作生成可以参考语义理解,也可以参考对未来画面的预判。,依靠人类第一视角数据、机器人演示数据、VQA数据联合预训练,在仿真、真实双环境的多项基准刷新性能,还揭

文章图片
#机器人
李飞飞团队把灵巧手数据交给 Agent,只用1条人类视频让真机成功率暴涨 3.5 倍?

▲表 |十一项任务的真实世界回放成功率。实验覆盖11项真实灵巧操作任务,任务类型包含刚体、铰接件、可变形物体,任务包括开瓶子、剪刀裁剪、礼物盒打包、打结、多杯抓取、电脑装机等。但现有方案大多是固定流水线,刚体、铰接物体、可变形物体需要完全不同的重建与运动生成逻辑,长时序多子任务场景很容易发生错误传播。重建完成后,优化仿真内物体掩码和视频掩码IoU,确定物体初始位姿,把物体、机器人一并部署进仿真环境

文章图片
#机器人
TRO顶刊|隐蔽攻击下的多机器人安全学习控制:小规模学习,大规模泛化

简单说,它不是等攻击被检测出来再补救,而是把攻击者和防御者放进同一个微分博弈里,在线学习双方的策略,让机器人团队在“最坏攻击”下继续完成任务。在 β = 0.5 的包含控制实验中,DSLC 的 IAE 为 21.44,低于 DRHRL 的 31.66,相对降低 32.3%,说明它在攻击下确实实现了更优的控制性能。每组左侧为实物快照,右侧为运动轨迹。在六机器人直线编队实验中,β = 1 时,DSLC

文章图片
#机器人
清华 AIR 重磅三连:不改一行权重,跑通机器人自进化闭环

真机化学实验场景 ChemLab-Evo(ARX 机械臂)Level-1 三任务均值 83.3%(π0.5 73.3、Cosmos3-Nano 70.0、Fast-WAM 76.7、LingBot-VA 71.7),其中取试管 100%、放烧杯 70%、倒水 80%;实验数据显示,LIBERO-Pro 上 π0.5 的 Goal-T 由 31.0% 升至 92.5%、Goal-S 由 38.0%

文章图片
#机器人
13篇顶会(刊)一作分享计算机视觉科研经验

主题:计算机视觉科研经验分享嘉宾:张士峰,中科院自动化所博士,研究方向为物体检测,包括通用物体检测、人脸检测、行人检测。博士期间,以第一(共同第一)作者发表论文20篇,包括顶级期刊TPAMI和IJCV共2篇,顶级会议CVPR 4篇、ICCV 1篇、ECCV 1篇、AAAI 4篇,IJCAI 1篇。链接直达:https://www.shenlanxueyuan.com/open/course/59.

#计算机视觉#机器学习#深度学习 +1
    共 749 条
  • 1
  • 2
  • 3
  • 75
  • 请选择