强化学习（Reinforcement Learning，简称 RL）是一种让机器“通过尝试和错误学习”的方法。它模拟了人类和动物通过经验积累来学会做决策的过程，目的是让机器或智能体能够在复杂的环境中选择最优的行为，从而获得最大的奖励。我们在这里介绍了单智能体强化学习的相关算法。

现代谱估计方法通过利用信号的自相关函数或协方差函数等统计特性，以及先进的数学工具和算法，提高了谱估计的分辨率和准确性。其中一些常见的方法包括自回归模型（AR模型）、最大熵谱估计（MESP）、最小方差无偏估计（MVUE）等。这些方法利用了信号中的统计信息，可以更好地分辨频率相近的成分，并减小窗函数选择和泄漏效应的影响。本次实验主要验证在时间序列分析中，AR 模型（自回归模型）和皮萨伦科（Pisare

解耦表示学习，Decoupled Representation Learning (DRL) 是一种用于在自监督强化学习（Self-Supervised Reinforcement Learning, SSRL）中学习解耦表示的算法。DRL旨在通过将表示学习和策略学习过程分离，以实现更高效的学习。该算法适用于许多强化学习场景，特别是在高维观测（如图像、视频等）中，有效提取低维、独立的状态表示，帮助

MAXQ分解是一种用于分层强化学习（Hierarchical Reinforcement Learning, HRL）的算法，由Thomas G. Dietterich提出。该算法通过将复杂的任务分解成更小的子任务来简化问题，并利用这些子任务来构建更复杂的策略。主要思想是将一个复杂的Markov决策过程（MDP）分解成一系列嵌套的子MDP，以便更容易解决。MAXQ算法引入了一种分层的结构，将原始任

FeUdal Networks（FuN）是一种分层强化学习（Hierarchical Reinforcement Learning, HRL）算法，由Google DeepMind团队提出。该算法的灵感来源于层级控制结构，将任务分解为高层目标和低层执行细节，从而提高强化学习在复杂环境中的效率。与传统的强化学习算法不同，FeUdal Networks将学习过程分为不同的层次，每个层次的角色不同，但都

半马尔可夫决策过程，Semi-Markov Decision Processes (SMDP) 是一种用于分层强化学习的模型，适用于那些包含不规则时间步或长期延迟决策的任务。相比于标准的马尔可夫决策过程（Markov Decision Process, MDP），SMDP 能够处理不同时间间隔之间的决策问题，因此在强化学习中广泛应用于分层结构，尤其是需要长时间跨度或多步策略的复杂任务中。

行为规范Actor Critic算法（Behavior Regularized Actor Critic，BRAC） 是一种专门为离线强化学习设计的算法，其主要目标是通过行为正则化（Behavior Regularization）来解决由于数据分布偏差导致的策略退化问题。BRAC 算法是由Yifan Wuet al. 在 2019 年的论文“Behavior Regularized Offline

独立Q学习 ---- IQL（Independent Q-Learning）是多智能体强化学习（Multi-Agent Reinforcement Learning, MARL）中一种经典且简单的算法，主要思想是将每个智能体视为独立的学习者，各自执行单智能体的 Q-learning 算法。尽管 IQL 是一个早期的方法，但它在处理多智能体任务时具有一定的应用价值。[Python] IQL实现（可移

分层强化学习（Hierarchical Reinforcement Learning，HRL）是一类旨在通过引入多层次结构来提高强化学习算法效率的方法。其核心思想是将复杂的任务分解为若干子任务，通过解决这些子任务来最终完成整体目标。

在多智能体强化学习（Multi-Agent Reinforcement Learning, MARL）的研究和应用中，构建合适的环境来测试和评估算法是非常重要的。以下是一些常用的多智能体强化学习环境，它们涵盖了多种任务类型，如协作、对抗、竞争等，帮助研究者验证算法的效果。SMAC（StarCraft Multi-Agent Challenge）、 MPE（Multi-Agent Particle