logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

OpenVLA:开源视觉-语言-动作模型(CoRL 2024 全文中文翻译与精读)

OpenVLA 的核心主张是:用**充分的异构机器人操作数据**预训练一个 7B VLA,再用**参数高效微调**快速迁到新机器人/新任务,同时把训练与推理成本压到社区可承受范围。**OpenVLA** 的定位很明确:做一个**开源、7B 量级、可在消费级 GPU 上适配**的 VLA,把“通用机器人操作策略”从“听说过”推进到“能自己跑、能自己改”。- **动作表示**:离散 token vs

#开源
LEARNING TRANSFORMER-BASED WORLD MODELS WITH CONTRASTIVE PREDICTIVE CODING

DreamerV3 算法最近通过学习基于循环神经网络(Recurrent Neural Networks, RNNs)的精确世界模型,在各种环境领域取得了显著性能。

文章图片
#transformer#深度学习#人工智能
Representation Learning with Contrastive Predictive Coding

Aaron van den Oord DeepMind avdnoord@google.comYazhe Li DeepMind yazhe@google.comOriol Vinyals DeepMind vinyals@google.com摘要尽管监督学习在许多应用中取得了巨大进展,但无监督学习尚未得到如此广泛的应用,仍然是人工智能领域一个重要的挑战。本文提出了一种通用的无监督学习方法,用于从

#人工智能
【work】AI八股-神经网络相关

y^=g(Whyh+by)\hat{y} = g(W_{hy} h + b_y)y^​=g(Why​h+by​) 其中 WhyW_{hy}Why​ 是隐藏层到输出层的权重矩阵,byb_yby​ 是输出层的偏置向量,ggg 是输出层的激活函数,通常在分类问题中是softmax函数。: h=f(Wxhx+bh)h = f(W_{xh} x + b_h)h=f(Wxh​x+bh​) 其中 WxhW_{x

文章图片
#人工智能#神经网络#深度学习
[知识点]c++ delete与delete[ ]

/ 分配一个包含 10 个整数的数组// 错误地使用 delete 而不是 delete[]delete arr;// 未定义行为return 0;由于delete不能正确处理数组的内存释放,这会导致程序崩溃或其他不可预测的行为。使用delete释放通过new分配的单个对象。使用delete[]释放通过new[]分配的数组。错误地使用delete来释放数组会导致未定义行为。智能指针(如和)可以自动

文章图片
#算法#数据结构#c++
DITTO: Offline Imitation Learning with World Models

为了让模仿学习算法能够应对现实世界的挑战,它们必须能够处理高维观测、离线学习以及策略诱导的协变量偏移。我们提出了 DITTO,一种离线模仿学习算法,能够解决这三个问题。DITTO 在学习到的世界模型的潜在空间中优化一种新颖的距离度量:首先,我们在所有可用的轨迹数据上训练一个世界模型,然后,模仿代理从专家的起始状态在学习到的模型中展开,并因其在多个时间步上与专家数据集的潜在偏差而受到惩罚。我们使用标

#学习#人工智能#算法
[知识点]c++ delete与delete[ ]

/ 分配一个包含 10 个整数的数组// 错误地使用 delete 而不是 delete[]delete arr;// 未定义行为return 0;由于delete不能正确处理数组的内存释放,这会导致程序崩溃或其他不可预测的行为。使用delete释放通过new分配的单个对象。使用delete[]释放通过new[]分配的数组。错误地使用delete来释放数组会导致未定义行为。智能指针(如和)可以自动

文章图片
#算法#数据结构#c++
Bridging Language, Vision and Action: Multimodal VAEs in RoboticManipulation Tasks

本文聚焦于机器人操作领域中的无监督视觉-语言-行动映射问题。近期,众多研究提出了利用预训练大型语言和视觉模型来解决这一任务的方法。然而,这些方法计算成本高昂,且需要对输出进行精细调整。一种更轻量级的替代方案是实现多模态变分自编码器(VAEs),它能够提取数据的潜在特征,并将它们整合到一个联合表示中,这已在图像-图像或图像-文本数据的最新模型中得到证明。在此,我们探讨多模态VAEs是否以及如何能够在

#计算机视觉#人工智能#深度学习
ParticleFormer: A 3D Point Cloud World Model for Multi-Object, Multi-Material Robotic Manipulation

3D世界模型(即基于学习的3D动力学模型)通过捕捉由机器人动作决定的环境演化底层物理规律,为具有泛化能力的机器人操作提供了一种极具前景的方法。然而,现有的3D世界模型主要局限于使用基于粒子的图神经网络模型来处理单一材料的动力学问题,并且通常需要耗时的3D场景重建来获取用于训练的3D粒子轨迹。在本研究中,我们提出了ParticleFormer——一种基于Transformer的点云世界模型,它通过混

#3d
BIDIRECTIONAL DECODING: IMPROVING ACTION CHUNKING VIA GUIDED TEST-TIME SAMPLING

无需中间重新规划即可预测和执行动作序列的能力(称为动作分块)在从人类演示中进行机器人学习的领域中应用日益广泛。然而,其对学习策略的。

#人工智能
    共 15 条
  • 1
  • 2
  • 请选择