这相当于让模型去“增强”所有见过的动作，而没有明确指出哪些动作是“更好”的，哪些是“更差”的。减去基线 b 后，R—b变为有正有负，清晰地区分了“好”动作（优势为正）和“差”动作（优势为负），从而在保证梯度无偏的同时，显著降低了估计的方差。这两个轨迹中，(sb,a2)本身可能是一个不错的动作选择，只是因为在轨迹2中，后续遭遇了糟糕的随机事件或探索到了一个不良的状态分支，从而“背锅”承担了负面的总回

2:策略迭代算法估计的是 状态值函数（state value function） V，而最终的策略是通过 状态动作值函数（state-action value function） Q 来获得。累积奖赏采样值. 多次采样得到多条轨迹后，将每个状态-动作对的累积奖赏采样值进行平均。解决方案：一种直接的策略评估代替方法就是“采样”，然后求平均累积奖赏，作为期望累积奖赏的近似，模型未知的情况下，我们从起始

主要总结一下西湖大学赵老师的课程【强化学习的数学原理】课程：从零开始到透彻理解（完结）_哔哩哔哩_bilibili1️⃣基础阶段（Ch1-Ch7）：掌握表格型算法，理解TD误差与贝尔曼方程2️⃣进阶阶段（Ch8-Ch9）：动手实现DQN/策略梯度，熟悉PyTorch/TensorFlow3️⃣前沿阶段（Ch10：阅读论文（OpenAI Spinning Up / RLlib文档）Chapter 1

本章节并未介绍新的强化学习算法，而是重点讲解了随机逼近的基础知识，如Robbins-Monro（RM）算法和随机梯度下降（SGD）算法。与许多其他求根算法相比，RM算法的独特优势在于。研究证明，SGD算法实质上是RM算法的一个特例。均值估计作为贯穿本章的核心议题，其算法(6.4)成为本书介绍的首个随机迭代算法。我们通过分析表明，该算法可视为特殊形式的SGD算法。后续第七章将揭示时序差分学习算法具有

前言支持向量机（support vector machine, SVM)是一种二分类模型。是定义在特征空间上的间隔最大化线性分类器，同时还包括核技巧，能解决非线性问题 。求解过程 主要通过SMO (序列最小最优算法）目录：线性可分支持向量机函数间隔几何间隔间隔最大化对偶算法...

前言：决策树也是一种简单的分类模型，主要应用在反信用卡诈骗，骚扰邮件过滤。这里主要结合：1: 乳腺癌预测例子2 破腹产预测例子https://archive.ics.uci.edu/ml/datasets/Caesarian+Section+Classification+Dataset3 学生购买电脑的例子讲述...

前言：通过简单的模型，线性回归（Linear Regression）来具体了解机器学习的一般过程，以及不同的学习准则经验风险最小化，结构风险最小，最大似然估计（最大后验估计）一 线性回归1.1 模型：有时候会了简单起见写成,其中的w,x分别称为 增广权重向量，增广特征向量1.2 参数学习由于线性回归的标签y 和 模型的输出都为连续实数值，因此常用 平方损失函数 作为损失函数写成矩阵的形式...

前言：多维标度分析（multidimensional scaling ,MDS）是一组通过直观的空间图（spatial map),表示研究对象的感知和偏好的分析方法核心思想是降维后，点与点之间的欧式距离不变目录简介算法模型推导过程算法流程Code 实例一 简介原始空间数据集为, 为m个k...

前言拉普拉斯特征映射是基于图论的方法。它从样本点构造带权值的图W, 然后计算拉普拉斯矩阵最后对该矩阵进行特征值分解得到投影变换目录：拉普拉斯矩阵定义目标函数推导过程算法流程算法实现一 拉普拉斯矩阵定义：其中D 为对角矩阵，对角线元...

1： 常见网络结构2： 前馈神经网络3： 反向传播算法4： Softmax 分类例子