在此推荐另一篇文章【自动驾驶决策规划】POMDP之Introduction“The future is independent of the past given the present”未来状态的概率分布只与当前状态有关，而与过去状态无关。定义：性质：Pss′\boldsymbol{P}_{ss^{\prime}}Pss′​为从状态sss转移到状态s′s's′的概率，又称一步状态转移概率。P\b

继续上一讲的内容【强化学习】05 —— 基于无模型的强化学习（PredictionElevatorBioreactorHelicopterQuakeGame of GoMDP模型是已知的，但是规模太大，只能通过采样进行MDP模型是未知的，只能通过在经验中进行采样在线策略学习和离线策略学习。通常来说，在线策略学习要求使用在当前策略下采样得到的样本进行学习，一旦策略被更新，当前的样本就被放弃了，就好像

      1968年发明的A*算法就是把启发式方法（heuristic approaches）如BFS，和常规方法如Dijsktra算法结合在一起的算法。     A-Star算法是一种静态路网中求解最短路径最有效的直接搜索方法，也是解决许多搜索问题的有效算法。

本文将继续探索rl-agents中相关DQN算法的实现。下面的介绍将会以`intersection`这个环境为例，首先介绍一下Highway-env中的`intersection-v1`。Highway-env中相关文档——[http://highway-env.farama.org/environments/intersection/](http://highway-env.farama.org

继续上一讲的内容【强化学习】05 —— 基于无模型的强化学习（PredictionElevatorBioreactorHelicopterQuakeGame of GoMDP模型是已知的，但是规模太大，只能通过采样进行MDP模型是未知的，只能通过在经验中进行采样在线策略学习和离线策略学习。通常来说，在线策略学习要求使用在当前策略下采样得到的样本进行学习，一旦策略被更新，当前的样本就被放弃了，就好像

古月居《ROS机器人开发实践》机器人SLAM与导航运行代码遇到的问题及解决方案

安装相应功能包:创建功能包,暂时只需用到以下依赖:gmapping map_server amcl move_basegmapping 是ROS开源社区中较为常用且比较成熟的SLAM算法之一，gmapping可以根据移动机器人里程计数据和激光雷达数据来绘制二维的栅格地图，对应的，gmapping对硬件也有一定的要求:该移动机器人可以发布里程计消息机器人需要发布雷达消息(该消息可以通过水平固定安装的

本文部分内容参考了深蓝学院的移动机器人运动规划，依此做相关的笔记与整理。KinodynamicKinematicDynamicKinodynamicKinematicDynamic运动学规划问题是综合机器人的运动，同时受到运动学约束（如避开障碍物）和动力学约束（如速度、加速度和力的模量边界）。动力学解是从时间到广义力或加速度的映射。• Differentially constrained(微分约束

本文部分内容参考了深蓝学院的移动机器人运动规划，依此做相关的笔记与整理。机器人、无人车经历的轨迹需要满足光滑的特征，同时要符合相应的动力学约束。传统的学院派路线很明显需要在产生路径后生成优化后的轨迹以符合kinodynamic的特征；而已经进行过kinodynamic的路径需要进一步优化轨迹以提高路径的质量。边界条件：起点、终点的位置（方向等等）中间条件：中继节点的位置、方向……光滑的轨迹判断标准

SLAM是同步定位与地图构建(Simultaneous Localization And Mapping)；实时动态扫描在周围环境，解决自主定位的同时，同步动态构建周围环境地图。SLAM主要用于解决移动机器人在未知环境中运行时定位导航与地图构建的问题；目前，SLAM技术被广泛运用于机器人、无人机、无人驾驶、AR、VR等领域，依靠传感器可实现机器的自主定位、建图、路径规划等功能。由于传感器不同，SL