深度强化学习（Deep Reinforcement Learning，DRL）将深度学习的感知能力和强化学习的决策能力相结合，可以直接根据输入的图像进行控制，是一种更接近人类思维方式的人工智能方法。深度学习具有较强的感知能力，但是缺乏一定的决策能力；而强化学习具有决策能力，对感知问题束手无策。因此，将两者结合起来，优势互补，为复杂系统的感知决策问题提供了解决思路。智能体与环境的不断交互（即在给定状

1.1 四足机器人项目系统框图图1.1 自足机器人软件硬件控制流程图（1）操作员通过遥控器给机械狗下发平动速度 和转向率命令；（2）机械狗接收到命令，质心COM生成参考轨迹并传送给身体和腿部控制器。（3）控制器根据用户输入命令和机器人状态，如果腿处于腿在摆动中，则使用“摆动腿控制器”，如果腿处于腿在支撑中，则使用“力控支撑腿控制器”（4）力和位置指令被发送到STM32微控制器，用于将电机指令传递给

硬件部分传感器模块：包括深度相机、激光雷达和惯性测量单元（IMU），用于环境感知和导航。计算板卡：使用UP board和STM32F446微控制器进行数据处理和控制。SLAM算法用于定位与建图。腿部运动控制板卡：通过CAN总线与多个腿部驱动器通信，实现精确的运动控制。无线通信：4G通信模块用于远程操作和数据传输。软件部分ROS（机器人操作系统）：用于集成各种软件模块，包括视觉处理、障碍物检测、状态

硬件部分传感器模块：包括深度相机、激光雷达和惯性测量单元（IMU），用于环境感知和导航。计算板卡：使用UP board和STM32F446微控制器进行数据处理和控制。SLAM算法用于定位与建图。腿部运动控制板卡：通过CAN总线与多个腿部驱动器通信，实现精确的运动控制。无线通信：4G通信模块用于远程操作和数据传输。软件部分ROS（机器人操作系统）：用于集成各种软件模块，包括视觉处理、障碍物检测、状态

硬件部分传感器模块：包括深度相机、激光雷达和惯性测量单元（IMU），用于环境感知和导航。计算板卡：使用UP board和STM32F446微控制器进行数据处理和控制。SLAM算法用于定位与建图。腿部运动控制板卡：通过CAN总线与多个腿部驱动器通信，实现精确的运动控制。无线通信：4G通信模块用于远程操作和数据传输。软件部分ROS（机器人操作系统）：用于集成各种软件模块，包括视觉处理、障碍物检测、状态

硬件部分传感器模块：包括深度相机、激光雷达和惯性测量单元（IMU），用于环境感知和导航。计算板卡：使用UP board和STM32F446微控制器进行数据处理和控制。SLAM算法用于定位与建图。腿部运动控制板卡：通过CAN总线与多个腿部驱动器通信，实现精确的运动控制。无线通信：4G通信模块用于远程操作和数据传输。软件部分ROS（机器人操作系统）：用于集成各种软件模块，包括视觉处理、障碍物检测、状态