logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

VLN和VLA中出现的问答对

视觉-语言模型(VLMs)在静态视觉输入下展现出了令人瞩目的空间推理能力,在这种情况下,回答问题所需的证据在提供的视图中是可用的。然而,在杂乱的环境中,与答案相关的证据可能是被遮挡了,而非不存在:一个物体可能躺在一堆东西下面,被另一个物体覆盖,或者带有标识信息的一面背对相机。回答这类问题需要物理交互来揭示隐藏的证据。

VLN&VLA

我们的结果表明,当采用解耦但相互协调的策略进行训练时,紧密耦合的感知与执行能够实现高效且具备泛化能力的主动操作。每次的动作token(初始带噪声的一直到第t次迭代后的)会作为输入,进入到由多个扩散模型模块组成的的部分,其中cross attention负责让动作受到当前任务和场景的指导,self attention负责让动作token之间交换信息,学习动作序列内部,经此处理后的动作token会由相

文章图片
到底了