DQN相对于Q-Learning进行了三处改进：1.引入神经网络：如下图所示希望能从状态A中提取Q(s,a)2.经验回放机制：连续动作空间采样时，前后数据具有强关联性，而神经网络训练时要求数据之间具有独立同分布特性，简单理解，就是前后输入的数据之间要有独立性，所以对于连续空间数据，采用随机采样法，3.设置单独目标网络：下式中θ为权重参数，为目标网络，为目标网络和当前网络的差值，利用该误差不断更新θ

强化学习的目的是寻找最优策略。其中涉及两个核心概念最优状态值和最优策略，以及贝尔曼最优公式。而贝尔曼最优公式用不动点原理求解地址，由Banach不动点定理可以知道，强化学习一定存在唯一的解（策略）,并且可以通过迭代求得。简单理解：空间，就是在一个集合上定义某种规则（函数），且该规则适合集合内每一个元素。比如：对于海洋空间（集合），就是指“四大洋中所有的水分子（元素），在自然状态（规则）可以到达的任

机器人领域：控制，规划，感知等都可以用，可以把它作为一个优化过程，那么任何需要优化的问题都可以用它解决。

具体来说，我们可以将值函数或策略看作是一个映射，然后通过证明这个映射是一个压缩映射，就可以根据巴纳赫不动点定理得出这个映射存在唯一的不动点，也就是说，我们的迭代算法会收敛到这个唯一的不动点。需要注意的是，变分贝叶斯推断方法在强化学习中的应用需要设计合适的变分分布和优化算法，以保证其在实际问题中的有效性和效率。首先，我们需要明白巴纳赫不动点定理的基本内容：在一个完备的度量空间中，如果有一个压缩映射（

在无监督学习中，没有外部反馈，学习是通过数据本身的特性来驱动的。而在强化学习中，反馈是在智能体执行动作后由环境提供的奖励，这些奖励可能是稀疏的（不是每个动作都有奖励）、延迟的（长期效果）且通常需要智能体自己探索来确定动作的优劣。在强化学习中，智能体会基于其观察到的环境状态进行决策，执行动作，并接收环境给予的奖励（或惩罚）。而强化学习是关于连续决策的，智能体需要在一系列的时间点上做出一系列的动作。无

配置window10，python3.7，tensorflow1.14.0，运行第一节多臂赌博机代码时遇到AttributeError: ‘EntryPoints‘ object has no attribute ‘get‘。

之前下载的python3.8，在对应Pytorch和Tensorflow时没太在意版本，在运行一些代码时，提示Pytorch和Tensorflow版本过高，直接降下来，有时候又和Python3.8不兼容，所以又在虚拟环境搞一个Pyhon3.7，下载一些低版本的Pytorch和Tensorflow。

意思是缺rendering文件，这个问题主要是由于Gym版本的变化，在某个版本中删除了classic_control包中的rendering文件，所以需要手动把这个文件给加上。

学了一段时间强化学习的理论，近期准备进行一些算法实践。应用算法的前提是要创建一个合适的仿真环境，目前Openai的) 是主流的强化学习实验环境库。Gym已经集成许多开发好的环境，让RL的研究者们可以直接上手使用，而不需要按照论文中的描述重建环境，当然也可以在Gym中构建自己需要的环境。​ 主要是经典强化学习文献中的控制理论问题，像平衡车的控制。注意，游戏环境需要单独安装下。基于Gym开发的机器人3

在上篇提到过，博主最初下载版本是pyglet-2.0.0，出现该问题后，将版本降至pyglet-1.5.27。