一般情况下我们做的论文课题都是小规模的，使用的都是一个相对较小的数据库，因此使用单机系统基本可以完成任务。但现实生活中的数据往往是巨量的，我们需要一个完整的分布式系统来处理这种大规模的数据。

它在集中式训练，分布式执行的AC框架上提出了两个改进点：一是针对数量不确定的智能体组合，使用了注意力机制的特殊神经网络结构，可以处理不定量输入，并且代替了现有的COMA算法全耦合的吸收状态。但是，当单个代理的当前行为导致智能体本身的行为终止（例如自我牺牲）时，它已被排除在环境之外，它不能再观察到队伍获得奖励时的环境状态，也不再能够获得小组后来可能获得的奖励。它是经典的的中心化训练和非中心化执行的算

该方法及其它的变体一直主宰MTDRL，是AlphaStar所采用的基本训练方法，这就是目标性能最佳的异步RL框架————IMPALA!

理论概述多任务深度强化学习，英文Multi-Task Deep Reinforcement Learning ，简称MTDRL或MTRL。于MARL不同，它可以是单智能体多任务的情况，也可以是多智能体多任务的情况。现在的深度强化学习领域虽然在很多特定任务上有着超越人类的表现，然而这些算法的共同特点是，一次只能训练一个任务，如果想要适应一个新任务，就需要训练一个全新的智能体，也就是说，每个智能体只能

强化学习最好的几个算法之一TD3

参考视频：周博磊强化学习纲要阅读本文前需要对强化学习model-free领域有一定的了解，可以查看我之前的文章：《强化学习实践教学》，《强化学习纲要（周博磊课程）》之前介绍的算法例如DQN，DDPG，PPO都是**model-free（无模型）**的，这也是比较多人的研究领域，这些算法是智能体直接和环境互动获得数据，不需要拟合环境模型，智能体对环境的认知只能通过和环境不断大量的交互来实现。这样做的

注：本文续于《强化学习之DDQN》Dueling DQN的思想是把神经网络中Q价值的输出分成两部分，第一部分是状态价值V，这部分价值由状态直接决定和Action无关。第二部分就是动作价值和状态价值的差值A，每一个Action都存在一个差值。这两部分构成了倒数第二层的神经网络，节点数为Action数+1。然后最后一层的Q值就可以直接由V和A相加构成。Q=V+AQ = V + AQ=V+ADuelin

查看代码对于算法的理解直观重要，这使得你的知识不止停留在概念的层面，而是深入到应用层面。代码采用了简单易懂的强化学习库PARL，对新手十分友好。

知识基础DQN参考我的博文：https://tianjuewudi.gitee.io/2021/07/16/qiang-hua-xue-xi-shi-jian-jiao-xue/#toc-heading-19DQN复习​我们利用神经网络来代替表格法，我们可以输入S并输出多个Q，每个Q对应一个A。神经网络只需要储存有限的网络参数，我们的任务就是不断调整这些参数，使得输入输出符合我们的预期，而且状态可

用自己的python算法训练Unity人工智能