MADDPG是多智能体强化学习（MARL）领域集中式训练分布式执行（CTDE）范式的开山经典算法，由OpenAI与McGill大学于2017年提出。它专门解决多智能体环境中最核心的环境非平稳性问题，天然支持合作、竞争、混合三种交互场景，是目前多智能体连续控制任务的基准算法之一。

PPO是当下工业界与科研领域最主流的强化学习基线算法，完美解决了传统策略梯度训练不稳定、样本利用率低的问题，规避了TRPO计算复杂、难以落地的缺陷。本文从算法背景、核心理论、重要性采样、GAE优势函数、损失函数原理、完整训练流程等维度深度拆解PPO，理清Actor、Critic更新逻辑与参数迭代细节，对比主流算法变种，总结优缺点，内容通俗易懂，适合零基础入门与面试复习。

MADDPG是多智能体强化学习（MARL）领域集中式训练分布式执行（CTDE）范式的开山经典算法，由OpenAI与McGill大学于2017年提出。它专门解决多智能体环境中最核心的环境非平稳性问题，天然支持合作、竞争、混合三种交互场景，是目前多智能体连续控制任务的基准算法之一。

PyTorch 是当前全球最主流的深度学习框架，由 Meta（原 Facebook）人工智能研究院（FAIR）主导开发，以 Python 为核心前端语言，凭借动态计算图、原生 Python 化设计、完善的生态体系，成为学术研究与工业落地的通用基础设施，也是深度强化学习领域的事实标准框架。

强化学习的性能评估是算法研发、对比与落地的核心环节。与监督学习以精度 / 损失为核心的单维度评估不同，强化学习受环境随机性、策略探索性、实现细节、计算资源等多重因素干扰，评估结果的可信度、公平性极易出现偏差。一套完整规范的评估体系，需覆盖标准化评估流程、公平性控制机制、多维度指标体系三个核心部分，以下逐一展开。

Gym 是强化学习（Reinforcement Learning, RL）领域的**事实标准仿真环境框架**，核心价值是定义了一套统一的环境交互接口，让算法与环境完全解耦 —— 同一套 DQN/PPO 算法，只需修改环境名称，就能在倒立摆、Atari 游戏、机器人控制等数十种场景中无缝切换。

CNN 处理规则网格图像、MLP 处理表格数据，GNN 专门处理非规则的图结构数据，核心价值是利用节点之间的连接关系辅助特征学习。

《Apprenticeship Learning via Inverse Reinforcement Learning》是**学徒学习 / 逆强化学习领域的奠基性经典论文**，发表于 2004 年国际机器学习顶会 ICML，作者为 Pieter Abbeel 与 Andrew Ng（吴恩达）。它完美回应了 “在已有专家策略基础上做强化学习” 的核心需求：不用人工设计奖励函数，仅靠专家的演示轨迹，就

MADDPG是多智能体强化学习（MARL）领域集中式训练分布式执行（CTDE）范式的开山经典算法，由OpenAI与McGill大学于2017年提出。它专门解决多智能体环境中最核心的环境非平稳性问题，天然支持合作、竞争、混合三种交互场景，是目前多智能体连续控制任务的基准算法之一。

强化学习（Reinforcement Learning, RL）是机器学习三大范式之一，其核心是让智能体（Agent）通过与环境的交互不断试错，最大化累计奖励，从而学会完成特定任务。不同于监督学习依赖标注数据、无监督学习专注数据聚类，强化学习更贴近人类的学习方式，在游戏AI、机器人控制、自动驾驶等领域展现出革命性潜力。