25年4月来自伯克利分校的论文“LangWBC: Language-directed Humanoid Whole-Body Control via End-to-end Learning”。通用人形机器人有望与人类进行直观的交互，从而无缝融入日常生活。自然语言是实现这一目标最便捷的媒介。然而，将语言转化为人形机器人的全身运动仍然是一项重大挑战，这主要是由于语言理解与物理动作之间存在鸿沟。本文提出

25年3月来自Nvidia、CMU、伯克利分校、德州奥斯丁分校和 UCSD 的论文“HOVER: Versatile Neural Whole-Body Controller for Humanoid Robots”。人形机器人的全身控制需要适应导航、移动操作和桌面操作等多种任务，每种任务都需要不同的控制模式。例如，导航依赖于根速度或位置跟踪，而桌面操作则优先考虑上半身关节角度跟踪。现有方法通常针

23年2月来自北大、腾讯、澳门大学的论文"T2I-Adapter: Learning Adapters to Dig out More Controllable Ability for Text-to-Image Diffusion Models"。

24年11月来自哈工大深圳分校、计算所、旷视和浙大的论文“RoboGSim: A Real2Sim2Real Robotic Gaussian Splatting Simulator”。

23年6月 Nvidia 的论文“RVT: Robotic View Transformer for 3D Object Manipulation”。

22年11月来自华盛顿大学和Nvidia的论文 “PERCEIVER-ACTOR: A Multi-Task Transformer for Robotic Manipulation”。

24年1月论文“Agent AI: surveying the horizons of multimodal interaction“，来自斯坦福、微软、UCLA和华盛顿大学。

机器人技术的一大挑战是打造一个通用机器人，使其能够根据任意用户命令在非结构化环境中执行多种任务。这一努力的关键挑战是泛化：机器人必须应对新环境，识别和操纵从未见过的目标，并理解从未被要求执行的命令意图。从像素进行端到端学习，是建模此类通用机器人行为的灵活选择，因为对世界状态表示的假设很少。有了足够的现实世界数据，这些方法原则上应该能够使机器人在新的任务、物体和场景中进行泛化，而无需手工编码、特定于

22年8月来自谷歌和Everday Robots的论文“Do As I Can, Not As I Say: Grounding Language in Robotic Affordances”。

24 年 11 月来自华中理工和地平线的论文“DiffusionDrive: Truncated Diffusion Model for End-to-End Autonomous Driving”。扩散模型已成为机器人策略学习的强大生成技术，能够对多模式动作分布进行建模。利用其能力实现端到端自动驾驶是一个很有前途的方向。然而，机器人扩散策略中的众多去噪步骤以及交通场景更具动态性和开放性，对实时生