
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
DriftingVLA提出一种无需迭代的单步视觉-语言-动作生成范式,通过在训练中引入基于动作维度的漂移场(PDTD),将分布修正内化为模型参数。其核心是重初始化动作接口,直接预测动作块而非速度,并利用多兄弟样本间的吸引与排斥构建无蒸馏、无积分的分布匹配目标。实验表明,该方法在保持高精度的同时实现一次前向推理,显著优于现有一步生成方案,且部署时仅需1次前向计算,真正实现“一次前向出整块动作”。
SnapFlow提出一种基于渐进自蒸馏的单步动作生成方法,通过修正一致性目标、引入两步Euler快捷路径与零初始化目标时间嵌入,将流匹配VLA的去噪步数从10步压缩至1步。在保持端到端延迟从274ms降至83ms的同时,LIBERO任务平均成功率提升至98.75%(超越基线97.75%),且显著降低尾部误差,实现精度与速度的Pareto最优。
本文提出Shallow-π,一种针对流匹配视觉语言动作模型(VLA)的结构化知识蒸馏方法,通过同时压缩VLM骨干与动作头层数(如18→6),实现显著推理加速。区别于动态跳层,该方法在训练期固定浅结构,避免显存冗余与编译障碍。核心为三元损失:任务监督、教师速度场蒸馏及仅对动作token的中间层交叉注意力对齐。实验证明其在仿真与真机(Jetson Orin/Thor)上均优于小骨干模型,时延降低超50
OpenVLA-7B、π0.5-4B 这一量级的 VLA(Vision-Language-Action)模型已经能在 LIBERO 等基准上稳定完成多阶段操作,但挡住了落地:OpenVLA-7B 在 RTX 4090 上单步 0.262s(约 3.8 Hz),换到 Jetson 这类边缘设备常常超过 1s 一步,远达不到 10–50 Hz 的闭环控制需求。把大 VLA 压成小策略的常规做法是行为克
本文提出精炼策略蒸馏(RPD),实现从通用视觉-语言-动作模型(VLA)到强化学习(RL)专家的高效迁移。通过在PPO损失中加入动作均值MSE引导,以轻量级修改使学生策略在探索中受VLA知识启发,同时保留超越教师的能力。实验表明,RPD在稀疏奖励、视角变化等挑战下显著优于基线,收敛更快、泛化更强,且对降级教师鲁棒。方法即插即用、代码开源,为融合模仿学习与自主探索提供了新范式。
SpecPrune-VLA 提出一种免训练的自投机剪枝框架,针对计算受限的VLA模型加速。基于中深层注意力的层次化模式与时空一致性,融合上步全局重要token、动态变化区域与局部浅层信号,实现动作级静态剪枝;结合层级动态剪枝与动作感知控制器,动态调节剪枝强度。在OpenVLA-OFT等模型上实现1.7×加速,FLOPs降为43%,成功率仅微降0.5%~3%,显著优于现有方法,兼具高效性与鲁棒性。
DySL-VLA提出一种动态-静态分层跳过机制,针对视觉-语言-动作模型推理延迟问题,通过识别关键信息层(静态层)并自适应控制非关键层(动态层)跳过,结合连续性感知的允许点与先验-后验引导策略,在保持精度前提下实现3.75×加速。其轻量级训练框架仅需14M参数,显著低于同类方法,且无需修改骨干模型或依赖专用硬件,为机器人操控提供高效、可部署的推理方案。
FAST提出一种基于频域压缩的动作令牌化方法,解决自回归视觉-语言-动作模型在高频任务中因相邻动作令牌冗余导致信息量坍塌的问题。通过DCT将动作信号转换至频域,结合统一量化与BPE编码,实现高压缩比(50Hz下达13.2×),且令牌数稳定在30/每臂,显著提升训练有效性。该方法无需额外网络、超参少,可无缝集成至现有VLA模型,首次实现自回归模型在DROID等高频数据上的成功训练与零样本泛化,虽推理
VLA模型通过统一视觉、语言与动作的端到端架构,实现机器人“看懂—听懂—动手”的能力,以RT-2为起点,发展出OpenVLA、Octo、π0等代表性工作。核心思想包括统一架构、知识迁移与跨实体泛化,趋势从“动作即语言”转向连续建模与分层规划。模型蒸馏则通过教师-学生框架压缩大模型,利用软标签与多维度知识迁移,在保持性能的同时显著降低部署成本,成为高效部署的关键技术。

关于游戏开发的组件化开发方式







