作为 Gym 中最硬核的机器人控制任务之一，BipedalWalkerHardcore-v3 对强化学习算法的鲁棒性提出了严峻考验。其训练曲线在后期呈现明显的高方差特性，这也使其成为剖析 PPO 参数细节与调试策略的理想案例。我们将以此为切入点，记录一次完整的调参与优化实战。

生成模型里面发展： AE->VAE->GAN ->WGAN -> Diffusiong本篇我们重点是推导一下Diffusion 模型用的3个公式：下面红色的是用到了VAE重采样的原理。

前言：当alpha 值为0，求解过程和最小二乘法是一样的优点：可以防止矩阵不可逆惩罚某个维度权重系数过高一 岭回归原理输入：m个样本,n个维度: 标签值模型其中w 为权重系数 [n,1]求解：w...

参数配置是通过argparse 实现的，这样通过google colab 调试的时候。文件目录：options\train_options.py。CycleGAN 是先训练生成器G, 再训练鉴别器D。论文中直接提供了GitHub 的代码下载地址。GAN 模型是先训练鉴别器D, 再训练生成器G。主要定义了生成器，鉴别器的网络结构。6:训练和测试代码。4： network代码。define_G生成器。

前言：迪杰斯特拉(Dijkstra)算法是典型最短路径算法，用于计算一个节点到其他节点的最短路径。它的主要特点是以起始点为中心向外层层扩展(广度优先搜索思想)，直到扩展到终点为止。因为在Isomap 中要用到，这里简单介绍一下. 这里主要结合有相同图结束，无向图是对称矩阵目录1： 算法流程2：算法实现...

值迭代（Value Iteration）是解决马尔可夫决策过程（MDP）的经典动态规划算法。其核心基于，通过迭代方式求解最优价值函数。1.2矩阵形式V(s)r(s,a)通过采取行动a目的是找到最优策略使得状态值V最大通过contraction mapping 理论,可知道最优状态值可以通过迭代更新求解。

和传统的PCA，LDA等关注样本方差的降维方法相比，LLE关注于降维时保持样本局部的线性特征，由于LLE在降维时保持了样本的局部特征，它广泛的用于图像图像识别，高维数据可视化等领域。我们得到了高维的权重系数W，那么我们希望这些权重系数对应的线性关系在降维后的低维一样得到保持。要得到最小的d维数据集，我们需要求出矩阵M最小的d个特征值所对应的d个特征向量组成的矩阵。2）算法对最近邻样本数的选择敏感，

状态转移概率往往是未知的，在这种情况下，我们通常会采用蒙特卡洛（Monte Carlo）方法进行求解（该方法本质上是通过大数定律来计算数学期望）。在使用基于模型（model-based）的强化学习方法，特别是进行策略迭代时，我们通常会通过上述公式来求解。在 Policy iteration 的时候计算了 state-action 的均值（大数定律里面的切比雪夫不等式）值迭代（value-itera

本章节并未介绍新的强化学习算法，而是重点讲解了随机逼近的基础知识，如Robbins-Monro（RM）算法和随机梯度下降（SGD）算法。与许多其他求根算法相比，RM算法的独特优势在于。研究证明，SGD算法实质上是RM算法的一个特例。均值估计作为贯穿本章的核心议题，其算法(6.4)成为本书介绍的首个随机迭代算法。我们通过分析表明，该算法可视为特殊形式的SGD算法。后续第七章将揭示时序差分学习算法具有

其次，式(7.1)中的TD算法仅能估计给定策略的状态值。尽管如此，本节介绍的TD算法非常基础，对理解本章其他算法至关重要。例如，本章介绍的所有算法都属于时序差分学习的范畴。为简洁起见，式(7.2)常被省略，但必须意识到若缺少该式，算法在数学上将不完整。TD 方法的一个特点是，它在每个时间步更新其值估计，而 MC 方法则要等到回合结束才更新。TD学习的核心思想是基于新获得的信息来修正当前对状态值的估