logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【具身笔记】【Piper+PI0.5】四、训练侧消融

本系列为我在vla上的第二个实践:基于piper机械臂完成数据采集--格式转换--pi05微调 --评估--panda支线对比。在之前的文章中,我在自己的数据集上进行了多轮微调及评估,最终对比piper和panda两臂的结果,发现panda不管在同分布样本还是OOD样本上都有不错的表现,piper在同分布上的表现尚可(42/50),但OOD样本上表现出明显的泛化能力不足(14/50),本篇文章将尝

文章图片
#深度学习
【具身笔记】【原理探究】二、Flow Matching(流匹配)代码实践

本系列为我在vla 上的同步实践笔记,之前的实践中我大多都是在调用指令、修改参数,没有去深入了解相关的底层原理,因此在本系列中我将尽可能地探究底层原理。本文将展示我通过代码小实验对flow matching的理解。

#python
【具身笔记】【原理探究】一、对PI05源码的实践笔记

本系列为我在vla上的同步实践笔记,之前的实践中我大多都是在调用指令、修改参数,没有去深入了解相关的底层原理,因此在本系列中我将尽可能地探究底层原理。本文将展示我对PI05的基本原理和代码实践。本文了解了pi05的基础原理,并通过代码探究了模型生成及训练过程中的数据处理流程。本文仅做学习分享,如有谬误欢迎指正。

文章图片
#python
【具身笔记】【Piper+PI0.5】三、探究失败原因

本系列为我在vla上的第二个实践:基于piper机械臂完成数据采集--格式转换--pi05微调 --评估--panda支线对比。再上一篇文章中,我在自己的数据集上进行了多轮微调及评估,最终对比piper和panda两臂的结果,发现panda不管在同分布样本还是OOD样本上都有不错的表现,piper在同分布上的表现尚可(42/50),但OOD样本上表现出明显的泛化能力不足(14/50),本篇文章将尝

文章图片
#python
【具身笔记】【Piper+PI0.5】二、基于自有数据集实现pi05微调与评估

本系列为我在vla上的第二个实践:基于piper机械臂完成数据采集--格式转换--pi05微调 --评估--panda支线对比。本文主要介绍微调的过程。下面列出几个QA来引入:Q:什么叫微调?A:简单来说就是让已经预训练过的模型在自己的数据集上再训练,使其能学会自己数据集上的东西本文介绍了pi05在自建的piper和panda数据集上微调、评估和采坑的记录。文章仅做学习分享,如有谬误,欢迎指正。

文章图片
【具身笔记】【Piper+PI0.5】一、基于键盘实现数据采集

本系列为我在vla上的第二个实践:基于piper机械臂完成数据采集--格式转换--pi05微调--评估--panda支线对比。本文主要介绍如何实现基于键盘遥操作采集数据。本文介绍了键盘遥操作采集piper黑碗任务数据集,设计遥操作的实现和数据转换。文章仅做学习分享,如有谬误,欢迎指正。

文章图片
【具身笔记】【π0.5 微调与仿真】六、实现模型的微调、仿真与评估

本系列为我在vla上的第一个实践:基于lerobot做π0.5的推理 、微调、仿真。本文主要介绍模型的微调、仿真与评估实现。下面列出几个QA来引入:Q:本章具体是要做什么事情?A:本章要将之前做的LoRA微调、仿真结合起来,在基座模型上微调出一个新的模型,并通过libero的评估和MuJoCo仿真来看看模型训练的效果如何。本文介绍了官方基座、官方微调版本、自己的LoRA微调模型在libero数据集

#python
【具身笔记】【π0.5 微调与仿真】五、在MuJoCo中实现可视化仿真

本系列为我在vla上的第一个实践:基于lerobot做π0.5的推理 、微调 、仿真。本文主要介绍在在MuJoCo中实现可视化仿真。下面列出几个QA来引入:Q:什么是MuJoCo?A:MuJoCo 是一个能精准模拟多刚体动力学、复杂碰撞和摩擦的物理引擎,是强化学习和机器人控制最常用的“虚拟训练场”。本文介绍了MuJoCo并将其与主流仿真引擎做了对比、然后介绍了在本地和云端进行的MuJoCo实践。文

文章图片
#python
【具身笔记】【π0.5 微调与仿真】四、初步尝试LoRA微调模型

本系列为我在vla上的第一个实践:基于lerobot做π0.5的推理 、微调 、仿真。本文主要介绍在libero数据集上使用LoRA对模型进行微调。下面列出几个QA来引入:Q:什么是LoRA?A:LoRA 是一种“冻结大模型原参数,只训练极少量外挂参数”的轻量级微调技术,相当于给大模型装上易插拔的“扩展插件”。其具体的原理在本文第一小节会详细介绍。本文介绍了LoRA的大致原理及基于pi05_lib

文章图片
#python
【具身笔记】【π0.5 微调与仿真】三、libero数据可视化

本系列为我在vla上的第一个实践:基于lerobot做π0.5的推理、微调 、仿真。本文主要介绍libero数据集的可视化。下面列出几个QA来引入:Q:什么是libero?A:大家都在训练各种 AI 机器人模型,怎么证明你的模型很牛呢?不能光靠嘴说,得拉到同一个考场里,用同一套卷子考一考,看谁分数高。LIBERO 就是这个考场。具体来说,它包含了四项东西:1.任务库:定义了机器人在这个考场上需要完

文章图片
#python
    共 28 条
  • 1
  • 2
  • 3
  • 请选择