1 定义相比反距离插值反距离插值 IDW_UQI-LIUWJ的博客-CSDN博客，克里金插值公式更加抽象其中 是点 (xo,yo)处的估计值这里的 λi是权重系数。它同样是用空间上所有已知点的数据加权求和来估计未知点的值。但权重系数并非距离的倒数，而是能够满足点 (xo,yo)处的估计值与真实值 zo的方差最小的一套最优系数，即同时满足无偏估计的条件2 普通克里金插值不...

判断策略学习收敛的标准是目标函数 不再增长。。在实践中，当平均回报不再增长，即可终止算法。强化学习笔记：带基线的策略梯度_UQI-LIUWJ的博客-CSDN博客我们用 TD 算法训练价值网络 v(s; w)。观测到状态和奖励 rt，计算 TD 目标：定义损失函数：此时我们还不知道和A2C强化学习笔记：带基线的策略梯度_UQI-LIUWJ的博客-CSDN博客类似，我们把近似成，把近似成于是近似策略梯

是 Python 标准库ast模块中的一个函数，用于安全地评估表示 Python 字面量或容器（如列表、字典、元组、集合）的字符串。

1 自由度是1的情况自由度是1，也就是说动作a是实数，动作空间A是实数集R的一个子集。我们记动作的均值为μ(s)，标准差为σ(s)，于是我们可以用正态分布的概率密度函数作为策略函数：假如我们知道函数μ(s)和σ(s)的解析式，那么我们可以用以下几步做控制（做控制——找agent需要执行的动作a）：观测到当前状态s，预测均值，标准差从正态分布中做随机抽样：智能体执行动作a一个很自然的想法，就是用神经

噪声网络 (Noisy Net)是一种非常简单的方法，可以显著提高 DQN 的表现。噪声网络的应用不局限于 DQN，它可以用于几乎所有的强化学习方法。1 噪声网络的原理把神经网络中的参数 w 替换成 µ+σ◦ξ。此处的 µ、σ、ξ 的形状与 w 完全相同。µ、σ 分别表示均值和标准差，它们是神经网络的参数，需要从经验中学习。ξ 是随机噪声，它的每个元素独立从标准正态分布 N (0, 1) 中随机抽

以作为分组条件，orderBy对Window分组内的数据进行排序# 以 department 字段进行分组，以 salary 倒序排序# 按照部门对薪水排名，薪水最低的为第一名后面的示例如无特殊说明，都是使用这个窗口规范。

1 Sarsa(0)Sarsa算法和TD类似，只不过TD是更新状态的奖励函数V，这里是更新Q函数强化学习笔记：Q-learning ：temporal difference 方法_UQI-LIUWJ的博客-CSDN博客TDSarsa该算法由于每次更新值函数需要知道当前的状态(state)、当前的动作(action)、奖励(reward)、下一步的状态(state)、下一步的动作(action)，即

【ICML2018】中提到，神经网络的所有的极小值都是连通在一起的；同时给出了如何从一个极小值找到一条通路连到另一个极小值的算法。——>从原始任务的某个极小值出发，在优化新任务的时候。，就可以保证原始任务不受影响了。

写在前面的话：TD3只是改进训练用的算法，并不改变神经网络的结构。1 DPG 的高估问题由于DPG强化学习笔记：连续控制 & 确定策略梯度DPG_UQI-LIUWJ的博客-CSDN博客中也存在自举，所以也会面临高估问题。2 目标网络为了解决自举造成的高估，我们使用目标网络来计算价值网络的TD目标。训练中需要的两个目标网络：他们与价值网络、策略网络的结构完全相同，只是参数不同。TD目标是用目

1 learning & planningLearning 和 Planning 是序列决策的两个基本问题。在强化学习中，环境初始时是未知的，agent 不知道环境如何工作，agent 通过不断地与环境交互，逐渐改进策略。（learning过程）在 plannning 中，环境是已知的，我们被告知了整个环境的运作规则的详细信息。Agent 能够计算出一个完美的模型，并且在不需要与环境进行任