然后，使用目标网络估计两个评论家网络的下一个状态-动作对的可能 Q 值，并为批处理中的每个样本选择两个输出的最小值。事实上，如果我们直接使用这些优化的参数，我们的学习将非常不稳定，因为每次网络参数都会针对不同的集合进行优化。然而，由于我们需要评估的不是状态，而是行动者对状态的反应，因此我们不仅需要状态信息，还需要行动者网络的行动作为我们批评网络的输入。在我们的例子中，我们将控制一个地面移动机器人，

在.vscode文件下的.json文件里添加,"/opt/ros/**"ros头文件标红，出现波浪线。

移动机器人导航教程中的深度强化学习

移动机器人导航教程中的深度强化学习

回想一下，这是我们想要描述周围环境的激光读数的数量（在我们的例子中，是 20 个读数）。有了这些信息，我们可以计算，如果发生了冲突，并做一些快速的数据操作来保存laser_state（我们复制它以免改变velodyne数据，并准备正确的列表形式）。如果我们给出目标的坐标，相对于机器人的位置，这将为我们提供距离信息。然后，我们实现一种笨拙的方法来计算朝向目标的向量和机器人航向之间的航向差异（请随时更

移动机器人导航教程中的深度强化学习

在本教程的中，我们克隆并安装了 GitHub 存储库，并首次成功启动了机器人导航训练。在中，我们详细研究了训练神经网络的实际组成。现在，在这一部分，是时候看看神经网络的训练是如何在移动机器人运动设置中调用的了。再一次，我们将查看 python 文件中的代码在开始移动机器人的实际运动策略训练之前，我们必须首先了解我们试图解决的任务。用人类的语言来说，我们正试图“但是我们如何将这个问题变成计算机可以理