随机网络蒸馏（RND）是一种自监督学习方法，旨在提高强化学习中的探索效率。该算法由 Chesney et al. 在论文《Random Network Distillation as a Method for Intrinsic Motivation》提出，RND 利用随机神经网络的输出与环境状态的真实特征之间的差异来生成内在奖励，鼓励智能体探索未见过的状态。这种方法尤其适用于外部奖励稀疏的环境。

Plan2Explore是自监督强化学习中的一项创新算法，旨在解决探索问题，尤其是在没有外部奖励信号或奖励稀疏的情境下，如何让智能体有效探索环境。Plan2Explore通过自监督的方式来提高智能体对环境的探索能力，不依赖外部奖励。

分层强化学习（Hierarchical Reinforcement Learning, HRL）通过将复杂问题分解为更小的子问题，显著提高了强化学习算法在解决高维状态空间和长期目标任务中的效率。Option-Critic架构是分层强化学习中一种非常有影响力的方法，专门用于自动发现和优化子策略（称为“Option”）。它是在经典的Options框架基础上提出的，用来处理分层决策问题，特别是可以在没有

分层强化学习（Hierarchical Reinforcement Learning, HRL）通过将复杂问题分解为更小的子问题，显著提高了强化学习算法在解决高维状态空间和长期目标任务中的效率。Option-Critic架构是分层强化学习中一种非常有影响力的方法，专门用于自动发现和优化子策略（称为“Option”）。它是在经典的Options框架基础上提出的，用来处理分层决策问题，特别是可以在没有

Hierarchical Actor-Critic (HAC) 算法是一种用于分层强化学习（Hierarchical Reinforcement Learning, HRL）的算法，由Levy等人在2019年提出。HAC的目的是通过分层结构，将复杂任务分解为不同的时间尺度的子任务，从而更高效地学习策略。该算法使用了两层的Actor-Critic架构来实现策略和值函数的学习，并通过子任务的分解来降低

Hierarchical-DQN (Hierarchical Deep Q-Network) 是一种分层强化学习算法，专门设计用于解决复杂的任务，通过将任务分解为层次化的子任务来学习。它结合了深度 Q 网络（DQN）和分层强化学习的思想，将复杂任务分解为多个具有不同时间尺度的子任务。Hierarchical-DQN 的设计思路和 FeUdal Networks 类似，都是通过层次结构来解决长时间跨

在强化学习（Reinforcement Learning, RL）中，智能体通过与环境的交互来学习一个策略，以最大化长期累积回报。然而，传统的强化学习算法在优化回报时往往不考虑智能体行为的安全性，导致在训练或部署过程中可能出现不安全的行为。**安全强化学习（Safe Reinforcement Learning，Safe RL）**正是在此背景下提出的，它旨在在优化回报的同时确保智能体的行为符合某

离线强化学习（Offline Reinforcement Learning，也被称为批量强化学习 Batch Reinforcement Learning）是一种强化学习（RL）范式，近年来快速发展的强化学习技术。传统的强化学习方法依赖于与环境的持续交互，通过试错学习来不断改进策略。然而，在许多实际应用中，在线交互的成本可能极高，甚至伴随风险。例如，在医疗、自动驾驶或金融领域，直接在线操作可能导致

Conservative Q-Learning (CQL) 是由Sergey Levine及其团队于2020年提出的一种针对离线强化学习的算法。CQL旨在解决离线强化学习中的两个主要问题：分布偏移（Distributional Shift） 和 过度乐观的值函数估计（Overestimation of Q-Values）。CQL通过对Q值的保守约束，确保学习到的策略更为稳健，避免过度依赖于离线数据

Displayx检测显示屏：在购买电脑显示屏，对显示屏的显示效果还是十分关注的，毕竟直接影响了我们的使用体验。了解最多的可能也就是鲁大师的测试显示屏功能，但是鲁大师这个软件怎么说呢！有点小流氓，所以呢，就想着找一个绿色无广告的软件。个人认为DisplayX是一个十分不错的软件，主要有以下优点：1）.全中文界面，用法也十分简单；2）.绿色软件，没有什么捆绑软件；3）.功能相对齐全，对液晶显示屏简单测