最近正在进行无人机项目，但是由于没有适合的遥控器来控制四轴，画板子也有些占用时间，所以比较有效的方法就是基于手头有的Xbox手柄来进行一个DIY，在手柄与ESP32之间建立串口通信。首先我们需要对原始数据进行一个处理，因为原始的手柄数据都是浮点值，为了方便esp的处理，我们在PC端就需要对原始数据进行一个处理，将其全部转换为整型。

6.1离散空间和连续空间在之前的实例中，状态和动作的数量受到限制。使用小的，有限的马尔可夫决策过程（MDP），可以用表，字典或其他有限结构来表示动作值函数。例如，考虑下面的非常小的gridworld。假设世界有四个可能的状态，并且代理有四个可能的操作可供使用（上，下，左，右）。您在前面的课程中了解到，我们可以在表中表示估计的最佳操作值函数，每个状态对应一个行，每个动作对应一个列。我们将此表称为Q表

线性连续时间状态空间模型的离散化（Discretization of Linear Continuous-Time State-Space Models）1 .状态空间模型非线性连续时间状态空间模型x˙(t)=f(x(t))+Bw(x(t))w(t)yn=g(xn)+rn\begin{aligned}\dot{\bm x}(t) &= f(x(t))+ \bm B_w(x(t))\bm w

蒙特卡罗方法是我们第一个用于估计价值函数和发现最优策略的学习方法。与之前动态规划不同的是，这里我们不假设对环境的完全了解。蒙特卡洛方法只需要状态、动作和与环境实际或模拟交互的奖励的经验样本序列。从实际经验中学习是引人注目的，因为它不需要事先了解环境的动态，但仍然可以达到最佳行为。从模拟经验中学习也很强大。虽然需要一个模型，但模型只需要生成样本转换，而不是动态规划（DP）所需要的所有可能转换的完整概

机械臂仿真控制实例目录环境设置项目工具介绍Gazebo（1）Gazebo组件（2）Gazebo界面统一机器人描述格式（URDF）RVizMoveit!1.环境设置对于此项目，使用的是 robo-nd 虚拟机映像，或者在本地安装了 Ubuntu + ROS 。关于安装虚拟机映像问题，可以参考之前的文章。对于此设置的其余部分，活动的ROS工作区的名称设置为catkin_w...

从零开始的ROS四轴机械臂控制（七）十、ROS与arduino连接接下来回到阔别已久的硬件上来，我们要使用ROS来控制arduino。鉴于我使用的是虚拟机，所以首先要测试的是虚拟机与arduino的连接，然后才能考虑ROS与arduino的连接。1. 虚拟机与arduino的连接首先将arduino连接到虚拟机然后在虚拟机中安装arduino IDE，在Linux安装的具体方法可以百度...

使用Keras训练自动驾驶（使用Udacity自动驾驶模拟器）1.完成项目所需要的资源（1）模拟器下载•Linux•macOS•Windows（2）Unity 下载运行Udacity模拟器需要Unity，这是下载链接。https://unity.cn/releases（3）Behavioral Cloning Project此存储库包含Behavioral Cloning...

为四轴机械臂模型添加摄像头和夹爪，关于gazebo模型抖动、震动问题两个解决办法。

前记：之前学习了很多关于ROS的知识，现在想自己制作一个四轴器械臂来练练手。所以就定为arm0.1版本，使用MG90s舵机来搭建一个四轴机械臂。arm0.1版本的目标是对不同颜色的方块进行分类并在Gazebo中模拟出来。在未来计划的arm1.0版本中，计划使用步进电机来搭建六轴机械臂，使用上RL，实现人机交互，希望能在下个学期完成它。一、模型制作1.实际模型制作采用https://www...

深度Q学习将深度学习和强化学习相结合，是第一个深度强化学习算法。深度Q学习的核心就是用一个人工神经网来代替动作价值函数。由于神经网络具有强大的表达能力，能够自动寻找特征，所以采用神经网络有潜力比传统人工特征强大得多。。最近基于深度Q网络的深度强化学习算法有了重大的进展，在目前学术界有非常大的影响力。当同时出现异策、自益和函数近似时，无法保证收敛性，会出现训练不稳定或训练困难等问题...