1.【MADRL】多智能体深度强化学习《纲要》2.【MADRL】独立Q学习（IQL）算法3.【MADRL】基于MADRL的单调价值函数分解（QMIX）算法4.【MADRL】多智能体深度确定性策略梯度（MADDPG）算法5.【MADRL】多智能体双延迟深度确定性策略梯度（MATD3）算法6.【MADRL】多智能体近似策略优化（MAPPO）算法​7.【MADRL】反事实多智能体策略梯度（COMA）算法

马尔科夫决策过程（MDP）是数学上描述决策问题的一种模型。它被广泛应用于强化学习、运筹学、控制系统和经济学等领域。MDP 用来解决带有不确定性和动态性的序列决策问题。

REINFORCE 是一种策略梯度算法，用于强化学习中的策略优化问题。它的核心思想是直接优化策略，通过采样环境中的轨迹来估计梯度并更新策略。PG（Policy Gradient）算法是一个更大的算法框架，而 REINFORCE 是 PG 算法的一种具体实现。因此，比较两者的关键在于 PG 的普适性和 REINFORCE 的具体特性。

在强化学习中，Policy Gradient（策略梯度）算法是一类通过优化策略函数直接来求解最优策略的方法。与基于值函数（例如Q学习和SARSA）的方法不同，策略梯度方法直接对策略函数进行建模，目标是通过梯度下降的方法来最大化预期的累积奖励（即期望回报）。这些算法主要适用于连续的动作空间或高维问题，能够在复杂的环境中取得较好的性能。

强化学习（Reinforcement Learning，简称 RL）是一种让机器“通过尝试和错误学习”的方法。它模拟了人类和动物通过经验积累来学会做决策的过程，目的是让机器或智能体能够在复杂的环境中选择最优的行为，从而获得最大的奖励。我们在这里介绍了单智能体强化学习的相关算法。

现代谱估计方法通过利用信号的自相关函数或协方差函数等统计特性，以及先进的数学工具和算法，提高了谱估计的分辨率和准确性。其中一些常见的方法包括自回归模型（AR模型）、最大熵谱估计（MESP）、最小方差无偏估计（MVUE）等。这些方法利用了信号中的统计信息，可以更好地分辨频率相近的成分，并减小窗函数选择和泄漏效应的影响。本次实验主要验证在时间序列分析中，AR 模型（自回归模型）和皮萨伦科（Pisare

解耦表示学习，Decoupled Representation Learning (DRL) 是一种用于在自监督强化学习（Self-Supervised Reinforcement Learning, SSRL）中学习解耦表示的算法。DRL旨在通过将表示学习和策略学习过程分离，以实现更高效的学习。该算法适用于许多强化学习场景，特别是在高维观测（如图像、视频等）中，有效提取低维、独立的状态表示，帮助

MAXQ分解是一种用于分层强化学习（Hierarchical Reinforcement Learning, HRL）的算法，由Thomas G. Dietterich提出。该算法通过将复杂的任务分解成更小的子任务来简化问题，并利用这些子任务来构建更复杂的策略。主要思想是将一个复杂的Markov决策过程（MDP）分解成一系列嵌套的子MDP，以便更容易解决。MAXQ算法引入了一种分层的结构，将原始任

FeUdal Networks（FuN）是一种分层强化学习（Hierarchical Reinforcement Learning, HRL）算法，由Google DeepMind团队提出。该算法的灵感来源于层级控制结构，将任务分解为高层目标和低层执行细节，从而提高强化学习在复杂环境中的效率。与传统的强化学习算法不同，FeUdal Networks将学习过程分为不同的层次，每个层次的角色不同，但都

半马尔可夫决策过程，Semi-Markov Decision Processes (SMDP) 是一种用于分层强化学习的模型，适用于那些包含不规则时间步或长期延迟决策的任务。相比于标准的马尔可夫决策过程（Markov Decision Process, MDP），SMDP 能够处理不同时间间隔之间的决策问题，因此在强化学习中广泛应用于分层结构，尤其是需要长时间跨度或多步策略的复杂任务中。