现代人形机器人:从物理建模到大模型驱动的控制与学习
本书目录直达
【现代人形机器人:从物理建模到大模型驱动的控制与学习】第1章 机器人建模回顾-CSDN博客
【现代人形机器人:从物理建模到大模型驱动的控制与学习】第2章 连续与离散动力学与接触建模-CSDN博客
【现代人形机器人:从物理建模到大模型驱动的控制与学习】第3章 优化基础与数值方法-CSDN博客
【现代人形机器人:从物理建模到大模型驱动的控制与学习】 第4章 视觉感知与三维理解 (一)-CSDN博客
【现代人形机器人:从物理建模到大模型驱动的控制与学习】 第4章 视觉感知与三维理解 (二)详细推导-CSDN博客
【现代人形机器人:从物理建模到大模型驱动的控制与学习】第4章 — 代码实现扩展(工程/可运行 / 深度细节)-CSDN博客
【现代人形机器人:从物理建模到大模型驱动的控制与学习】 第5章 多模态感知与融合(深入数学推导与理论分析)-CSDN博客
【现代人形机器人:从物理建模到大模型驱动的控制与学习】 第6章 触觉与高分辨触觉(GelSight 等)与接触状态估计-CSDN博客
【现代人形机器人:从物理建模到大模型驱动的控制与学习】 第7章 轨迹规划与碰撞避让 — 原理与深入推导-CSDN博客
【现代人形机器人:从物理建模到大模型驱动的控制与学习】 第7章 (二) 轨迹规划与碰撞避让:采样式与优化式算法实战-CSDN博客
【现代人形机器人:从物理建模到大模型驱动的控制与学习】 第 8 章 运动学与动力学的优雅耦合——原理详解-CSDN博客
【现代人形机器人:从物理建模到大模型驱动的控制与学习】第9章 全身优化与接触显式轨迹优化(Contact-Implicit TO)-CSDN博客
【现代人形机器人:从物理建模到大模型驱动的控制与学习】第10章 MPC 与在线重规划(Model Predictive Control)-CSDN博客
【现代人形机器人:从物理建模到大模型驱动的控制与学习】 第11章 强化学习基础与进阶(数学推导与理论分析)-CSDN博客
【现代人形机器人:从物理建模到大模型驱动的控制与学习】 第12章 Sim-to-Real:域随机化、系统识别与自适应(推导与证明)-CSDN博客
【现代人形机器人:从物理建模到大模型驱动的控制与学习】第13章 高样本效率策略:模仿学习、离线 RL 与混合方法-CSDN博客
【现代人形机器人:从物理建模到大模型驱动的控制与学习】第14章 多指手 / 人形手的动力学与控制 — 算法原理推导-CSDN博客
【现代人形机器人:从物理建模到大模型驱动的控制与学习】第15章 触觉引导与多接触操控 — 严谨推导与证明-CSDN博客
【现代人形机器人:从物理建模到大模型驱动的控制与学习】 第16章 双臂协同与人形机体上的物体搬运-CSDN博客
【现代人形机器人:从物理建模到大模型驱动的控制与学习】第17章 任务与运动结合规划 (Task and Motion Planning, TAMP)-CSDN博客
【现代人形机器人:从物理建模到大模型驱动的控制与学习】 第18章 以LLM为中枢的机器人高层控制-CSDN博客
【现代人形机器人:从物理建模到大模型驱动的控制与学习】第19章 安全控制理论与在线实现:CBF/CLF框架的数学基础与工程化路径-CSDN博客
【现代人形机器人:从物理建模到大模型驱动的控制与学习】第20章 形式化验证、测试与仿真基准:自动化测试套件、度量标准与实机验收流程-CSDN博客
【现代人形机器人:从物理建模到大模型驱动的控制与学习】第21章 力学与致动器设计的算法影响-CSDN博客
【现代人形机器人:从物理建模到大模型驱动的控制与学习】第22章 软件栈与实时体系(ROS2、实时中间件、联邦学习与分布式训练)-CSDN博客
【现代人形机器人:从物理建模到大模型驱动的控制与学习】第23章 实验室部署指南:从仿真到物理现实-CSDN博客
【现代人形机器人:从物理建模到大模型驱动的控制与学习】第24章 经典/现代人形与相关项目解读-CSDN博客
第一部分:数学与物理基础
第1章 机器人建模回顾
-
刚体运动学(位姿、坐标变换、旋量)
-
多关节机构的正/逆运动学(数值与解析方法)
-
约束动力学(拉格朗日、牛顿—欧拉、冲击模型)
第2章 连续与离散动力学与接触建模
-
连续动力学与广义坐标(M(q), C(q, q̇), g(q))
-
冲击/接触模型:不光滑动力学、互补性条件(LCP)、摩擦模型
-
质心/质心动量模型(centroidal dynamics)与降阶模型(单刚体、线性倒立摆)
第3章 优化基础与数值方法
-
非线性规划(NLP)、二次规划(QP)、序列二次规划(SQP)
-
直接/间接轨迹优化、直接复合(Direct Collocation / Shooting)
-
稀疏线性代数、KKT、数值稳定性、求解器(IPOPT、OSQP、HPIPM、FORCES、CasADi)
第二部分:感知与环境表示(视觉、触觉、预测)
第4章 视觉感知与三维理解
-
相机成像与几何(单目/双目/深度/事件相机)
-
视觉里程计、SLAM 与语义分割简介
-
端到端感知到动作(像素到低维特征)与预训练视觉模型(ViT/Transformer 在机器人感知中的应用)。——(含最近基于 Transformer 的机器人策略工作示例与讨论)
-
视觉系统工程:延迟、带宽、滤波与同步
第5章 多模态感知与融合
-
视觉 + 力觉 + 本体感受(proprioception)融合策略
-
时序建模(RNN / Temporal Transformer / State-estimator)
-
语音/语言输入到动作:语义 grounding 与符号化
第6章 触觉与高分辨触觉(GelSight 等)与接触状态估计
-
光学触觉(GelSight)与力/滑移估计
-
多点接触/触觉图像处理与深度学习方法
-
抓取中的接触推断与自监督学习
第三部分:运动学、规划与优化(传统 + 学习混合)
第7章 轨迹规划与碰撞避让
-
采样式(RRT, PRM, CHOMP, STOMP)与优化式(TrajOpt, KOMO)对比
-
可微分规划与规划求解器实战(使用 MoveIt2/OMPL / TrajOpt)
-
高维度空间的实用技巧(分层/任务空间规划)
第8章 运动学与动力学的优雅耦合:逆动力学、逆/前向动力学策略
-
逆动力学求解(控制分配、摩擦/限位处理)
-
操作空间控制(Operational Space Control)与力/位置混合控制
-
梯度/雅可比稳定性问题与数值实现
第9章 全身优化与接触显式轨迹优化(Contact-Implicit TO)
-
接触显式与隐式建模(互补约束、平滑化、互补松弛)
-
求解器与求解技巧(初值、松弛、模式切换)
-
案例:从站立到跳跃——全身 TO 实战(含代码样板)
第10章 MPC 与在线重规划(Model Predictive Control)
-
线性/非线性 MPC 基本概念
-
质心/质心动量基 MPC 在人形步态中的实际实现与稳定性保证(capture point / stepping)dl.acm.org
-
实时求解器、分层 MPC、延迟补偿与鲁棒性
-
实战:把 MPC 部署到中/高自由度人形平台(软件栈、时间预算)
第四部分:学习方法(强化学习、模仿学习、微分模拟器)
第11章 强化学习基础与进阶
-
强化学习(RL)基础(MDP、策略、价值、PPO、SAC、TD3)
-
结合物理先验的 RL(基于模型的 RL、混合控制学派)
-
多任务 / 元学习 /快速自适应(RMA)与少样本学习。——(讨论 RMA 在腿式/步态自适应中的成功)arXiv
第12章 Sim-to-Real:域随机化、系统识别与自适应(ADR、RMA 等)
-
域随机化与自动域随机化(ADR)方法与实践(如何设计随机化空间)matthiasplappert.com
-
系统辨识、快速自适应模块与在线校正(RMA 示例、上位模块结构)
-
可微分模拟与基于梯度的策略/参数优化(Brax、DiffTaichi、Isaac Gym)——实操:用 GPU 并行仿真训练策略。arXiv+1
第13章 高样本效率策略:模仿学习、离线 RL 与混合方法
-
行为克隆、逆强化学习、GAIL
-
离线 RL 的挑战与实践(数据质量、分布外泛化)
-
示范引导的在线精调(IBORL 等最近工作讨论)
第五部分:操控(Dexterity)、双臂与手眼协同
第14章 多指手/人形手的动力学与控制
-
多指手模型、接触组合爆炸与子问题分解
-
手指级低层控制(力/位置控制、独立指控策略)
-
实验平台与常见商用软硬件(Shadow Hand、Allegro、手指传感器)
第15章 触觉引导与多接触操控
-
接触模式搜索、切换策略与树搜索/混合规划
-
结合视觉与触觉的闭环策略
-
案例:OpenAI Dactyl / Rubik’s Cube 的方法学总结(ADR + RL)与局限性讨论。arXiv
第16章 双臂协同与人形机体上的物体搬运
-
bimanual 操作的任务分解与力分配
-
大物体搬运、握持与重新定位策略(whole-body loco-manipulation)
第六部分:高阶决策(规划、语言接口与通用体)
第17章 任务与运动结合(Task and Motion Planning, TAMP)
-
符号任务规划与连续运动规划耦合策略
-
混合离散-连续求解框架(搜索 + 优化)
-
失败/恢复策略设计
第18章 以 LLM 为中枢的机器人高层控制(SayCan / PaLM-E / RT-1 / Gato 等)
-
LLM 在任务解析与序列化技能选择中的角色(观点、能力、限制)arXiv+2arXiv+2
-
技能库(pretrained skills)与 LLM 的接口设计(符号/概率/约束)
-
从指令到动作:示例系统架构(解析器 → 任务规划器 → 技能调度器 → 低层控制)
-
案例:SayCan、PaLM-E、RT-1 的系统对比与工程挑战
第七部分:安全、稳健与验证
第19章 安全控制理论(CBF / CLF / CLF-QPs)与在线
-
Control Barrier Functions(CBF)与 Control Lyapunov Functions(CLF)的基本概念与 QP 实现
-
CBF/CLF 在高维人形机器人上的挑战与可行策略(安全滤波器、分层安全)ames.caltech.edu
-
将安全约束整合到 RL 与 MPC 中的实用方法
第20章 形式化验证、测试与仿真基准
-
自动化测试套件、基准任务、度量(鲁棒性、恢复能力、安全裕度)
-
实机验收测试的工程流程与审计日志
第八部分:系统工程、硬件与工程化
第21章 力学与致动器设计的算法影响
-
有源/被动弹性驱动(SEA/PEA)对控制的影响
-
力矩控制、带宽、热与能耗分析
-
机械设计与控制联合优化(co-design)
第22章 软件栈与实时体系(ROS2、实时中间件、联邦学习与分布式训练)
-
ROS2 实战样板(动作接口、行为树、实时节点)
-
数据记录、审计与安全—工程化要点(日志、回放、再现)
-
云/边缘训练与实机部署管线(CI/CD、仿真→实机流水线)
第23章 实验室/部署指南
-
仿真环境构建、传感器标定、延迟测量
-
实机调参流程与安全上电检查表
-
成本、供应链与量产注意事项
第九部分:案例研究与开源实践
第24章 经典/现代人形与相关项目解读
-
Atlas(公开论文/演示的可借鉴算法点)
-
TALOS / REEM-C / HRP / Digit / Walker 类平台(如何复用算法)
-
学术到产业:转移失败/成功的真实教训
第25章 端到端工程例子(以一个任务为例:开门+搬运)——完整实现(含代码)
-
任务分解 → 感知管线 → 技能库 → 高层规划 → MPC/低层控制
-
仿真训练、域随机化、上实机流程(代码仓库:Python / PyTorch / IsaacGym 或 Brax 示例)
第十部分:前沿专题与未来研究方向
第26章 可微分控制与神经微分控制器(Neural ODE / differentiable physics 的前沿)
第27章 通用体(Generalist Agents)与持续学习(Gato / Generalist Agent 思路)
第28章 道德、法律、社会与部署风险(隐私、责任、安全认证)
附录(工具箱)
-
A. 数学证明与推导(动力学、线性化、KKT 条件等)
-
B. 常用库与工具(Pinocchio, Crocoddyl, PinMM, CasADi, Drake, MuJoCo, Brax, Isaac Gym/Isaac Sim)并附安装/快速上手示例
-
C. MPC / TO / RL 模板代码(Python + PyTorch / JAX + CasADi + OSQP 示例)
-
D. 实验 checklists、数据记录模板、论文阅读清单(按章节列出关键论文)
-
E. 推荐教材与进阶读物、开源数据集与 benchmark(包括机器人视频/数据集/benchmark 链接清单)
更多推荐
所有评论(0)