本研究中我们提出了一种基于扩散模型的在线强化学习算法 DACER（Diffusion Actor-Critic with Entropy Regulator），旨在克服传统强化学习方法在策略参数化中使用高斯分布的局限性。通过利用扩散模型的反向去噪过程，DACER能够有效地学习多模态分布，使得创建更复杂的策略并提高策略性能成为可能。一个显著的挑战来自于缺乏解析表达式来确定扩散策略的熵，使其难以与最大

本研究中我们提出了一种基于扩散模型的在线强化学习算法 DACER（Diffusion Actor-Critic with Entropy Regulator），旨在克服传统强化学习方法在策略参数化中使用高斯分布的局限性。通过利用扩散模型的反向去噪过程，DACER能够有效地学习多模态分布，使得创建更复杂的策略并提高策略性能成为可能。一个显著的挑战来自于缺乏解析表达式来确定扩散策略的熵，使其难以与最大

本研究中我们提出了一种基于扩散模型的在线强化学习算法 DACER（Diffusion Actor-Critic with Entropy Regulator），旨在克服传统强化学习方法在策略参数化中使用高斯分布的局限性。通过利用扩散模型的反向去噪过程，DACER能够有效地学习多模态分布，使得创建更复杂的策略并提高策略性能成为可能。一个显著的挑战来自于缺乏解析表达式来确定扩散策略的熵，使其难以与最大

DSAC-D 提供了一个简洁而深刻的视角：强化学习中长期被忽视的"单峰偏见"，是制约算法在复杂真实场景中发挥潜力的根本瓶颈之一。通过将扩散模型同时引入值网络和策略网络，DSAC-D 构建了首个双扩散分布式强化学习框架，在理论上建立了可收敛的多峰分布策略迭代框架，在实践中实现了仿真与真实场景的双重验证。这一工作也表明，生成式 AI 与强化学习的深度融合，远不止于"用扩散模型生成动作"这一层面——重新