个人理解：Sarsa算法和多步Sarsa算法：使用越多的即时奖励来求解，,得到的值就越接近当前序列的真值（当前序列的真值就是蒙特卡洛算法中遍历所有状态得到的真值），也就说这两个算法，始终都是在求解某一个序列的真值。求完该序列之后来更新Q（s,a）--其实就是策略，才以此进行更新下一个序列（根据上一个策略的Q(s,a)来选取下一个策略的动作）。最后更新到新序列的真值最大。就完成了目标。

回顾一下学过的算法，我i们这里做一个图首先说一个概念，大家可能会将奖励和奖励函数混为一谈，他们不是一个概念奖励是在强化学习等场景中，环境对智能体所采取的动作给出的反馈信号，用于表示该动作的好坏程度，是一个数值。比如在机器人导航任务中，成功到达目标给予正奖励，碰到障碍给与负奖励。--------即时的反馈奖励函数;是一个映射，将 智能体所处的状态s ,a, 下一个状态 s'映射为一个奖励值，是一个数

本节中需要明白的概念：上一节中我们讲到最优状态价值函数和最优动作价值函数，我们要理解，最优状态价值函数是所有的动作价值函数与其概率相乘的结果，所以可以很自然的想到，最优状态价值函数和最优动作价值函数的大小关系，一般来说前者大，若是后者大，则前者取后者（有点废话了）还有一点要明白：策略变化，状态价值函数和动作价值函数会跟着变化。

安装ubuntu20.04修改源安装搜狗。

数据的稳定性，监督学习数据稳定不变，强化学习数据从外界获得一直在变。

Double DQN ：缓解了DQN中对Q值的过高估计Dueling DQN：能够很好地学习到不同动作的差异性，动作空间大时非常有效这可以作为创新点来发掘，记住从DQN到Double DQN （解决现有问题Q值过高）和 Dueling DQN（解决不同动作模式的差别）的转变。r+r+r+%5Ceta。

首先确定是不是英伟达显卡驱动，如果不是的话，设置里找到附加驱动，更改为NVIdia类型的驱动，更改完成之后重启这里大部分电脑都可以了，如果不行。

Double DQN ：缓解了DQN中对Q值的过高估计Dueling DQN：能够很好地学习到不同动作的差异性，动作空间大时非常有效这可以作为创新点来发掘，记住从DQN到Double DQN （解决现有问题Q值过高）和 Dueling DQN（解决不同动作模式的差别）的转变。r+r+r+%5Ceta。