
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
VLA数据集格式:HDF5数据格式以及向Lerobot数据格式的转换
我们在自采数据对VLA模型进行微调时候,难免会遇到数据集格式的问题。主流的VLA模型,使用的训练数据集格式不同,HDF5、RDLS、Lerobot这些数据集格式都有什么区别,他们之间该如何转换呢?最近在数据采集和转换方面遇到一些有关数据集格式的问题,通过数据采集拿到的HDF5格式的数据,想要查看并且向其他数据集格式进行转换,以便训练主流的VLA模型。

ViLLA模型的隐动作空间:从LAPA到UniVLA
之前我们提到的要构建一种中间表征,这种基于Latent Action的就是一种很好的方法。总结来讲的话就是Encoder部分获取输入当前帧和未来帧得到输入两帧之间的动作表征;Decoder通过这个动作表征以及的输入来预测。通过这样一种自监督范式,我们可以发现这种 Latent Action Model 得益于VQ-VAE中间的 codebook 具有很强的信息瓶颈,所以他可以很好地学到两帧之间的

到底了







