原文发表在知乎，辛苦移步：《最近一直在看强化学习算法，跑起来的demo模型都很小，（例如：《具身智能hil-serl强化学习算法在lerobot机械臂上复现》）所以可以在单机上很容易跑起来。但针对具身智能的VLA模型，可能动辙就是几个B的参数量，如果只是模仿学习的话，也有很多分布式训练框架，例如deepspeed, fsdp等可很方便的引入，这样多卡/多机训练也很简单。

原始文章发表在知乎，辛苦移步～最近把hil-serl在lerobot机械臂上跑了一下，网上也没找到其他同学的成功的复现分享，所以笔者一路过关斩将解决问题，在此记录一下，希望对大家也能有所帮助。hil-serl是2024年底的一篇文章，作者罗剑岚目前是智元的首席科学家。整体来看，其实hil-serl的思想挺简单的：传统在在线强化学习采样过程可能是算法驱动的，例如随机探索，这样效率比较低，训练时长会较

最近在看具身智能领域一些代表性的模型，openvla是2024年中出的一个vla模型，详细的学习了一下，这个文章在工程实现方面写得还是非常详尽的（代码中的README和论文本身），包括环境安装，全量微调，lora微调，模型格式转换，甚至在效果不好时如何一步一步排查也写了，感觉作者是很用心的，值得我们学习。openvla模型比较经典，网络上的解读文章也比较多了，我在文末也列了2个，仅供参考。简单来说

看到pi0.5后，第一个会想到的是，它与pi0（π0模型前向推理过程详解，　π 0模型数据-训练-评测过程）相比的升级点在哪里。它有一个state_proj层，用于将状态向量投影到模型的嵌入空间中，与50维action chunk拼在一起，形成一个51维的embedding，然后在action expert中使用。大概半年前学习过pi0与pi0.5模型，那时候pi0.5还没有开源，现在pi0.5开

原文发表在知乎，辛苦移步：《有一定影响力的知名微信公众号也申请了转载，还有很多微信网友加了好友咨询，也了解到了最少有两名网友也基于笔者的代码成功复现。笔者发表文章的初衷首先是在学习的过程中作为一个笔记的记录，时时的回顾总结；其次笔者常常读一些优秀的论文，文章，开源项目代码，经常性的会感慨正是大家的开源奉献精神，才能让后人站在巨人的肩膀之上做出更多创新，所以也希望自己在吸收知识的同时能有少量输出。看

最近几天将pi0.5模型训练并在物理lerobot机械臂上跑了一下，过程如下：采数据命令：}’

原文发表在知乎，辛苦移步：《有一定影响力的知名微信公众号也申请了转载，还有很多微信网友加了好友咨询，也了解到了最少有两名网友也基于笔者的代码成功复现。笔者发表文章的初衷首先是在学习的过程中作为一个笔记的记录，时时的回顾总结；其次笔者常常读一些优秀的论文，文章，开源项目代码，经常性的会感慨正是大家的开源奉献精神，才能让后人站在巨人的肩膀之上做出更多创新，所以也希望自己在吸收知识的同时能有少量输出。看

原始文章发表在知乎，辛苦移步～最近把hil-serl在lerobot机械臂上跑了一下，网上也没找到其他同学的成功的复现分享，所以笔者一路过关斩将解决问题，在此记录一下，希望对大家也能有所帮助。hil-serl是2024年底的一篇文章，作者罗剑岚目前是智元的首席科学家。整体来看，其实hil-serl的思想挺简单的：传统在在线强化学习采样过程可能是算法驱动的，例如随机探索，这样效率比较低，训练时长会较

看到pi0.5后，第一个会想到的是，它与pi0（π0模型前向推理过程详解，　π 0模型数据-训练-评测过程）相比的升级点在哪里。它有一个state_proj层，用于将状态向量投影到模型的嵌入空间中，与50维action chunk拼在一起，形成一个51维的embedding，然后在action expert中使用。大概半年前学习过pi0与pi0.5模型，那时候pi0.5还没有开源，现在pi0.5开

目前我在申请google账户的过程中，需要使用手机号收验证码，可惜的是，大陆的手机不能用（至少我试的两个手机都不可以，系统会提示不能用）。但好在我找到了以前用过的一个google账户，然后把它恢复了，然后就可以正常使用了。另外，也行你会遇到一个关于需要设置一个名为：GOOGLE_CLOUD_PROJECT的环境变量的问题，此时注意需要在google的相关平台上申请一个项目名称，这个不能随便填，申请