值迭代（Value Iteration）是解决马尔可夫决策过程（MDP）的经典动态规划算法。其核心基于，通过迭代方式求解最优价值函数。1.2矩阵形式V(s)r(s,a)通过采取行动a目的是找到最优策略使得状态值V最大通过contraction mapping 理论,可知道最优状态值可以通过迭代更新求解。

和传统的PCA，LDA等关注样本方差的降维方法相比，LLE关注于降维时保持样本局部的线性特征，由于LLE在降维时保持了样本的局部特征，它广泛的用于图像图像识别，高维数据可视化等领域。我们得到了高维的权重系数W，那么我们希望这些权重系数对应的线性关系在降维后的低维一样得到保持。要得到最小的d维数据集，我们需要求出矩阵M最小的d个特征值所对应的d个特征向量组成的矩阵。2）算法对最近邻样本数的选择敏感，

状态转移概率往往是未知的，在这种情况下，我们通常会采用蒙特卡洛（Monte Carlo）方法进行求解（该方法本质上是通过大数定律来计算数学期望）。在使用基于模型（model-based）的强化学习方法，特别是进行策略迭代时，我们通常会通过上述公式来求解。在 Policy iteration 的时候计算了 state-action 的均值（大数定律里面的切比雪夫不等式）值迭代（value-itera

本章节并未介绍新的强化学习算法，而是重点讲解了随机逼近的基础知识，如Robbins-Monro（RM）算法和随机梯度下降（SGD）算法。与许多其他求根算法相比，RM算法的独特优势在于。研究证明，SGD算法实质上是RM算法的一个特例。均值估计作为贯穿本章的核心议题，其算法(6.4)成为本书介绍的首个随机迭代算法。我们通过分析表明，该算法可视为特殊形式的SGD算法。后续第七章将揭示时序差分学习算法具有

其次，式(7.1)中的TD算法仅能估计给定策略的状态值。尽管如此，本节介绍的TD算法非常基础，对理解本章其他算法至关重要。例如，本章介绍的所有算法都属于时序差分学习的范畴。为简洁起见，式(7.2)常被省略，但必须意识到若缺少该式，算法在数学上将不完整。TD 方法的一个特点是，它在每个时间步更新其值估计，而 MC 方法则要等到回合结束才更新。TD学习的核心思想是基于新获得的信息来修正当前对状态值的估

前言：《神经网络与深度学习》 邱锡鹏https://www.bilibili.com/video/BV1Vx411j7kT?spm_id_from=333.337.search-card.all.clickhttps://www.bilibili.com/video/BV1Sr4y1N71H?spm_id_from=333.337.search-card.all.clickhttps://www.

状态转移概率往往是未知的，在这种情况下，我们通常会采用蒙特卡洛（Monte Carlo）方法进行求解（该方法本质上是通过大数定律来计算数学期望）。在使用基于模型（model-based）的强化学习方法，特别是进行策略迭代时，我们通常会通过上述公式来求解。在 Policy iteration 的时候计算了 state-action 的均值（大数定律里面的切比雪夫不等式）值迭代（value-itera

一REINFORCE1Policy Gradient 优化目标目标是最大化 episode return 的数学期望 2 Policy Gradient 伪代码3Policy Gradient 两个问题参考李宏毅 DRL Lecture 1: Policy Gradient (Reviewhttps://www.bilibili.com/video/BV1nHgreKEqD/?spm_id_fro

这相当于让模型去“增强”所有见过的动作，而没有明确指出哪些动作是“更好”的，哪些是“更差”的。减去基线 b 后，R—b变为有正有负，清晰地区分了“好”动作（优势为正）和“差”动作（优势为负），从而在保证梯度无偏的同时，显著降低了估计的方差。这两个轨迹中，(sb,a2)本身可能是一个不错的动作选择，只是因为在轨迹2中，后续遭遇了糟糕的随机事件或探索到了一个不良的状态分支，从而“背锅”承担了负面的总回

2:策略迭代算法估计的是 状态值函数（state value function） V，而最终的策略是通过 状态动作值函数（state-action value function） Q 来获得。累积奖赏采样值. 多次采样得到多条轨迹后，将每个状态-动作对的累积奖赏采样值进行平均。解决方案：一种直接的策略评估代替方法就是“采样”，然后求平均累积奖赏，作为期望累积奖赏的近似，模型未知的情况下，我们从起始