文章目录前言无模型控制问题思路方法On-Policy learningMCSarsaOff-policy learningQ-learningOn-Policy learning 和 Off-policy learning的区别前言本文是学习周博雷老师的强化学习课程的心得体会。雷大佬的GItHub无模型控制问题​当我们不知道 MDP 模型的情况下，如何优化价值函数，得到最佳的策略。思路​这里和有模

1 卷积网络的核心是：可以约减不必要的权值连接，引入稀疏或局部连接，带来权值共享策略大大地减少参数量相对的提升了数据量，从而可以避免过拟合；具有平移不变性，鲁棒性较好。卷积操作的示意图如下：卷积参数：stride：指的是窗口从当前位置到下一个位置，跳过的中间数据个数stride:zeropadding：将原始数据的周边补上0值的圈数。zeropadding：valid convolutions,s

Policy-based RL思路基于MC采样的更新方法：特点无偏但是噪声大，噪声是因为它是随机采样的，好的结果和坏的结果差距较大。解决噪声问题use temporal causality在时序上处理（REINFORCE）上式梯度更新变为下式，某时刻的奖励只与当前时刻相关，这样可以减少无必要的相关性：include a baseline再将上式变为下式，减去一个bias，这个bias可以取值为期望

价值函数近似（VFA）​原因：状态太多，算力存储能力有限。只能通过插值的办法（神经网络）近似求得无法算到的状态价值函数值或状态动作价值函数值，或者是策略。如下：​方法：线性拟合，神经网络，决策树，邻近算法有模型无模型两种方法来代替，1. MC；2. TDMC近似方法TD近似方法价值动作函数近似（AVFA）有模型无模型...

在pycharm窗口中操作

Z轴正方向为前进方向pitch()：俯仰，将物体绕X轴旋转（localRotationX）yaw()：航向，将物体绕Y轴旋转（localRotationY）roll()：横滚，将物体绕Z轴旋转（localRotationZ）

前言本文参考StevenM.LaValleSteven M.LaValleStevenM.LaValle的《Planning Algorithms》，针对后驱的simple car来进行分型robot运动学。模型简介模型如下，车的坐标系原点在后轮中心位置，此模型为两轮驱动，后两个为驱动轮，前两个为从动轮，前两个掌握方向，后两个输出速度。L为前后轮的距离，如果 ϕ\phiϕ定了，那么车将进行圆周运动

前言看了大佬的博客感觉总结下下。简单总结Dubins曲线假设：车辆行驶的道路只能向前行进Dubins曲线：是在满足曲率约束和规定的始端和末端的切线方向的条件下，连接两个二维平面（即X-Y平面）的最短路径。感觉就是带方向的两点之间的最短的路径最佳路径类型可以用与右转（R），左转（L）或驾驶’直（S）’的汽车类比来描述。例如下面这个就是 RSL...

转载：向量叉乘方向判断a x b两个向量叉乘，可以获得垂直a，b的一个向量，但这个向量有两个方向，应该如何判断？通过将a的头与a的尾相接，并检查a到b是顺时针还是逆时针，能够确定a x b的方向。在左手坐标系中，如果a和b呈顺时针，那么a x b指向您。如果a x b呈逆时针，那么a x b远离您。而在右手坐标系中，如果a x b 呈顺时针方向，那么a x b远离您，如果a x b呈逆时针方向，那

单项式（monomial）：由数和字母的积组成的代数式叫做单项式。（分母含有字母的式子不属于单项式），例如：a,−5,x,2xya, -5, x, 2xya,−5,x,2xy单项式中所有字母的的指数的和叫做这个单项式的次数（degree）多项式: 是由称为未知数的变量和称为系数的常数通过有限次加减法、乘法以及自然数幂次的乘方运算得到的代数表达式。例如：x2−3x+4x^2-3x+4x2−3x+4.