任何跨时代的技术，其利弊都呈现出极端化现象。

让人工智能教人类学习，德国一个激光加工企业博士，发现利用激光加工过程中，有些参数会发生变化，这会影响加工质量，而想要得到这些参数，必须停机才可以，但停机的成本又太高，于是他用神经网络训练了可以实时预测参数的模型，准确率很高，然后他用可解释性分析，可视化的分析了如何获得这个参数，工人根据可视化过程去学习推算参数，竟然真的提高了很多，这个方法很简单，但这个应用场景下却从未有人成果尝试，于是这个博士，横

从上面的论述中我们发现，感知大模型（语言大模型、视觉大模型、嗅觉大模型、味觉大模型）（深度学习），让智能体具有理解真实世界的能力，在这个能力的基础上，决策大模型（强化学习）赋予了智能体思考的能力，而数字孪生让智能体可以在虚拟环境中快速且无损的找到诸多思考下最优的解决方案。具身智能是通往通用人工智能的大门，而强化学习是通往具身智能的大门。

配置window10，python3.7，tensorflow1.14.0，运行第一节多臂赌博机代码时遇到AttributeError: ‘EntryPoints‘ object has no attribute ‘get‘。

在无监督学习中，没有外部反馈，学习是通过数据本身的特性来驱动的。而在强化学习中，反馈是在智能体执行动作后由环境提供的奖励，这些奖励可能是稀疏的（不是每个动作都有奖励）、延迟的（长期效果）且通常需要智能体自己探索来确定动作的优劣。在强化学习中，智能体会基于其观察到的环境状态进行决策，执行动作，并接收环境给予的奖励（或惩罚）。而强化学习是关于连续决策的，智能体需要在一系列的时间点上做出一系列的动作。无

从上面的论述中我们发现，感知大模型（语言大模型、视觉大模型、嗅觉大模型、味觉大模型）（深度学习），让智能体具有理解真实世界的能力，在这个能力的基础上，决策大模型（强化学习）赋予了智能体思考的能力，而数字孪生让智能体可以在虚拟环境中快速且无损的找到诸多思考下最优的解决方案。具身智能是通往通用人工智能的大门，而强化学习是通往具身智能的大门。

DQN相对于Q-Learning进行了三处改进：1.引入神经网络：如下图所示希望能从状态A中提取Q(s,a)2.经验回放机制：连续动作空间采样时，前后数据具有强关联性，而神经网络训练时要求数据之间具有独立同分布特性，简单理解，就是前后输入的数据之间要有独立性，所以对于连续空间数据，采用随机采样法，3.设置单独目标网络：下式中θ为权重参数，为目标网络，为目标网络和当前网络的差值，利用该误差不断更新θ

意思是缺rendering文件，这个问题主要是由于Gym版本的变化，在某个版本中删除了classic_control包中的rendering文件，所以需要手动把这个文件给加上。

尽管人工智能被吹嘘的很美丽，但我们现在所使用的基于人工智能的机器人，是先在仿真环境中学习，再应用于真是世界，尽管它具有很强的能力，但在真实世界中它并没有重新学习的能力，现实世界中新出现的，在仿真环境中没有被训练的状况，它不能解决。但具身智能让机器人有了在真实世界中学习的能力。

让人工智能教人类学习，德国一个激光加工企业博士，发现利用激光加工过程中，有些参数会发生变化，这会影响加工质量，而想要得到这些参数，必须停机才可以，但停机的成本又太高，于是他用神经网络训练了可以实时预测参数的模型，准确率很高，然后他用可解释性分析，可视化的分析了如何获得这个参数，工人根据可视化过程去学习推算参数，竟然真的提高了很多，这个方法很简单，但这个应用场景下却从未有人成果尝试，于是这个博士，横