copilot图标变成如图所示，就是禁用了。点击copilot图标，再点击设置。将这个改为false。

•核心思想使用随机性策略（如ϵ\epsilonϵ-greedy，也叫ϵ\epsilonϵ-贪心）代替确定性策略，确保在训练过程中 所有动作都有非零概率被选择，从而自然覆盖状态-动作空间。ϵ\epsilonϵ-贪心策略以概率ϵ\epsilonϵ随机探索，以概率 (1-ϵ\epsilonϵ) 选择当前最优动作。•优势无需强制初始化，通过策略本身的随机性保证探索。•总结这个方法的实现方式很简单，只不过是

蒙特卡罗方法是一种**无模型（Model-Free）**的强化学习方法，所谓无模型，就是不需要依赖环境动态模型（如转移概率矩阵Ps′∣saP(s′∣s,a)Ps′∣sa和奖励函数RsaR(s,a)Rsa的显式知识）。简单来说，我们前面来说的策略都是通过公式推导出动作价值函数QQQ，而蒙特卡洛可以直接通过观测数据来近似估计QQQ，这样就省略了模型。一个episode（回合/轨迹）是指智能体从状态s出

贝尔曼公式

蒙特卡罗方法是一种**无模型（Model-Free）**的强化学习方法，所谓无模型，就是不需要依赖环境动态模型（如转移概率矩阵Ps′∣saP(s′∣s,a)Ps′∣sa和奖励函数RsaR(s,a)Rsa的显式知识）。简单来说，我们前面来说的策略都是通过公式推导出动作价值函数QQQ，而蒙特卡洛可以直接通过观测数据来近似估计QQQ，这样就省略了模型。一个episode（回合/轨迹）是指智能体从状态s出

贝尔曼公式