深度Q学习将深度学习和强化学习相结合，是第一个深度强化学习算法。深度Q学习的核心就是用一个人工神经网来代替动作价值函数。由于神经网络具有强大的表达能力，能够自动寻找特征，所以采用神经网络有潜力比传统人工特征强大得多。。最近基于深度Q网络的深度强化学习算法有了重大的进展，在目前学术界有非常大的影响力。当同时出现异策、自益和函数近似时，无法保证收敛性，会出现训练不稳定或训练困难等问题...

粗略地说，前馈神经网络（FNN）是一种特殊的函数类，在最小化任何一种预期损失方面都非常强大，但代价是要训练大量的参数。更确切地说，考虑一个输入变量X∈Rp 和一个函数类F，我们想从中找出一个函数f，使某个损失函数L的期望值最小。例如，考虑简单的损失函数...

到目前为止，我们所讨论的机器学习算法的成功都依赖于对输入数据分布的假设。例如，PCA的效果越好，数据围绕线性子空间分布。或者在线性判别分析中，我们假设类的高斯分布，甚至有相同的协方差矩阵。为了更好地考虑输入数据的其他更复杂的分布，扩展方法的一种方式是采用所谓的核方法。它允许概括所有基本上只有标准内积作为输入数据的方法。在机器学习中，核是一类用于模式分析的算法，其最著名的成员是支持向量机(SVM)。

标准PCA通过将观察到的数据投射到一个线性子空间来降低其维度。选择投影的方式是使以平方的标准欧氏准则衡量的误差最小，这也可以解释为减少白高斯噪声的一种方式。一个非常重要的应用是将PCA作为分类的预处理，因为分类器在减少噪声的特征空间中表现更好。标准PCA的主要缺点是，它严重依赖数据的近似线性结构。在许多应用中，这是一个过于严格的假设。核PCA（K-PCA）是标准PCA的一个扩展，它没有这些缺点。K

在上个Note中，我们重温了强化学习的基础概念，即时序差分学习和它的扩展与资格迹。由于时序差分算法的简单性和突出的性能，用线性函数近似法（LFA）对TD机制的扩展肯定对解决维度诅咒有很大优点。

9.自主驾驶在接下来的环节中，我们要实现漫游者号的自动驾驶功能。完成这个功能我们需要四个程序，第一个为感知程序，其对摄像头输入的图片进行变换处理和坐标变换使用。第二个程序为决策程序，功能是帮助漫游者号根据当前条件和状态进行相应的决策，以实现漫游者号前进，后退，转向等功能。第三个是支持程序，来定义一些关于漫游者号状态的类等。最后为主程序，来调用三个函数对漫游者号进行控制的。Udacity提供的...

机械臂仿真控制实例（其二）-KR210正向运动学目录反向运动学概述为Kuka KR210创建IK解算器1.反向运动学概述KR210的最后三个关节是满足三个相邻的关节轴线在单点处相交的旋转关节。这种设计称为球形腕，而相交的公共点称为腕中心。这种设计的优点在于，它在运动学上解耦了末端执行器的位置和方向。joint_5joint\_5joint_5是球形手腕的公共交点，因此是手腕的中心。...

正向运动学和反向运动学目录2D中的旋转矩阵sympy包旋转的合成旋转矩阵中的欧拉角平移齐次变换及其逆变换齐次变换的合成Denavit-Hartenberg 参数DH参数分配算法正向运动学反向运动学反向运动学举例

包和gazebo仿真1.添加包（1）克隆simple_arm包克隆现有的包并将其添加到我们新创建的工作区。首先导航到src目录，然后从其github仓库克隆本课程 simple_arm 的包。$ cd ~/catkin_ws/src$ git clone https://github.com/udacity/simple_arm_01.git simple_arm（2） 构建si...

Robotics Software engineer编程笔记（一）使用Udacity提供的漫游者号模拟器创建环境地图，寻找样本。该项目是根据美国国家航空航天局（NASA）的样本返回挑战进行建模的。我使用的windows平台下的模拟器，也是基于windows平台下的模拟器进行学习。所使用的环境是python3.6， IDE为pycharm 2019。下面提供其他两种平台的模拟器的下载链接。...