1 示例介绍在右侧有宝藏，探险者到达宝藏所在的位置，就可以获得奖励比如某一时刻的状态是这个样子的：“-o---T”T 就是宝藏的位置, o 是探索者的位置如果在某个地点s1, 探索者计算了他能有的两个行为,Q(s1, a1) > Q(s1, a2), 那么探索者就会选择left这个行为. 否则就是right‘参考内容：小例子 - 强化学习 (Reinforcement Learning) |

围棋的棋盘是 19 × 19 的网格，可以在两条线交叉的地方放置棋子，一共有 361 个可以放置棋子的位置，因此动作空间是 A = {1,· · , 361}。比如动作 a = 123 的意思是在第 123 号位置上放棋子。 于是我们便有了类似的策略网络和价值网络和人类下棋类似，AlphaGo在做决策前，需要在“大脑里”做预判，确保几步以后很可能会占优势。如果只根据当前格局做判断，不往前看，是很难

再举几个例子。AlphaGo Zero 用了 2 千 9 百万局自我博弈，每一局约有 100 个状态和动作。TD3 算法 在 MuJoCo 物理仿真环境中训练 Half-Cheetah、Ant、Hopper 等模拟机器人，虽然只有几个关节需要控制，但是在样本数量 100 万时尚未收敛。甚至 连 Pendulum、Reacher 这种只有一两个关节的最简单的控制问题，TD3 也需要超过 10 万 个

对决网络 (Dueling Network)是对 DQN 的神经网络的结构的改进。它基本想法是将最优动作价值 Q⋆ 分解成最优状态价值 V⋆ 与最优优势 D⋆。1 最优优势函数1.1 回顾一些基础知识动作价值函数最优动作价值状态价值函数：Q(s,a)关于a的期望最优价值函数1.2 最优优势函数由于是指定了s和a之后的最优值，a不一定是使得V(s)最大的那个action，所...

1 逆向强化学习的基本设定1.1 智能体&奖励IRL 假设智能体可以与环境交互，环境会根据智能体的动作更新状态，但是不会给出奖励。这种设定非常符合物理世界的实际情况。——>比如人类驾驶汽车，与物理环境交互，根据观测做出决策，得到上面公式中轨迹，轨迹中没有奖励。是不是汽车驾驶问题中没有奖励呢？——>其实是有奖励的。避免碰撞、遵守交通规则、尽快到达目的地，这些操作背后都有隐含的奖励

或 m 个动作价值网络

The Option-Critic Architecture 2017 AAAI 个人觉得，这样的一个好处是减少状态空间：比如在顶层，我的状态空间是4维（处在哪个房间中）；在底层，我的状态空间是25+2=27维（处在哪个格子中）。而如果不用分层的强化学习，那么状态空间是25*4+4=104维 整体的框架可以看成两个层次组成：底层是一个选择action的次级策略（在这篇paper中，各个option

1 MDP介绍相比于马尔可夫奖励过程，马尔可夫决策过程就过了一个decision，其他的定义和马尔科夫奖励过程类似的。MRP见：强化学习笔记：马尔可夫过程 &马尔可夫奖励过程_UQI-LIUWJ的博客-CSDN博客MDP里多了一个决策，多了一个动作。状态转移也多了一个条件，变成了。采取某一种动作，未来的状态会不同。未来的状态不仅是依赖于你当前的状态，也依赖于在当前状态 agent 采取的这

包含 torch.FloatTensor 的元组（如果模型具有嵌入层，则为嵌入输出的一个 + 每层输出的一个），形状为 (batch_size, sequence_length, hidden_size)。的元组，每个元组包含形状为 (batch_size, num_heads, sequence_length, embed_size_per_head) 的 2 个张量。(torch.FloatT

随机游走是一种自监督学习的embedding方法，不需要利用节点标签也不需要节点的特征，训练出来的embedding也不依赖于任何的特定任务首先随机选择一个邻居节点，走到该处再随机选择一个邻居，重复length次length是指随机游走的长度使用随机游走从起始节点到终止节点的概率值，实际上就可以用来表示相似度也就是说，从u到v节点的概率值，应该正比于u与v节点embedding之后的点乘结果。