文章摘要：该代码实现了一个基于扩散策略的机器人动作生成模型，主要修改了src/lerobot/policies/diffusion/modeling_diffusion.py文件。核心功能包括： 实现Diffusion Policy算法，通过动作扩散学习视觉运动策略 包含输入/输出数据的归一化和反归一化处理 使用队列缓存历史观测数据和动作轨迹 提供动作预测方法predict_action_chun

摘要 本文介绍了Action Chunking Transformer (ACT)模型的关键实现细节，该模型用于细粒度双手机器人操作。主要修改包括： 在src/lerobot/policies/act/modeling_act.py文件中实现了ACTPolicy类，继承自PreTrainedPolicy 提供了模型初始化、优化参数获取、动作选择等功能 实现了reset()方法用于环境重置时清除动作

产生正态随机变量：from scipy.stats import norm# draw a single sampleprint(norm.rvs(), end="\n\n") #产生1个标准正态分布的随机值# draw 10 samplesprint(norm.rvs(size=10), end="\n\n") #产生10个标准正态分布的随机值# adjust mean ('loc') and

在 main 函数中，前两行定义主机和设备的变量。在 main 函数中调用 gpuAdd，其中1和4 是两个输人变量，d_c是一个作为输出指针变量的设备显存指针。如果 gpuAdd 的结果需要在主机上使用，那么它必须从设备的内存复制到主机的内存中，这是由 cudaMemcpy函数完成的。从程序中释放设备上使用的所有内存是非常重要的，否则，你可能在某个时候耗尽内存。如你所见，gpuAdd 是通过使用

产生正态随机变量：from scipy.stats import norm# draw a single sampleprint(norm.rvs(), end="\n\n") #产生1个标准正态分布的随机值# draw 10 samplesprint(norm.rvs(size=10), end="\n\n") #产生10个标准正态分布的随机值# adjust mean ('loc') and

下面的代码搭建了简单的一个生产者-消费者模型，在capture()函数中进行入队操作，infer()函数中进行出队操作，为了模拟采图-推理流程，在函数中调用Sleep()函数延时。此时发现采图-推理流程不能同步。上面的程序还有一点小问题：视频播放完时程序无法正常退出。

首先需要import shutil。

通过mmpretrain 导出swin-transformer的onnx文件非常容易，注意需设置 opset_version=12这里是一个坑，刚开始设置的opset_version=11后续转换trtengine的时候会有问题。第三个坑是如果不加上–workspace参数可能会因内存不足报错，LZ的机器有32G内存索性就设了20G的工作空间，可以根据自己的内存大小酌情设置该参数。mmdeploy

这里通过trtexec转换onnx文件，LZ的版本是TensorRT-8.2.1.8。输出是包含多个检测头的输出。安装mmdeploy的话，可以通过下面脚本导出onnx模型。

数据集中的图片一般为长方形，当模型输入为正方形时直接将长方形图片resize为正方形会使得图片失真，采用letterbox通过填充边界(通常是灰色填充)的方式来保持原始图片的长宽比例，同时又满足模型正方形输入的需要。