1. 引言我们上次最后提到了动作价值函数,它是与状态(state)、动作(action)和策略函数有关的概率分布函数，其中我们提到的它取最优策略后得到的最优动作价值函数，其中的影响已经被消除，所以在给定状态下我们想要最优化就是寻找最好的,所谓价值学习就是使用神经网络DQN来拟合函数，其中是观测到的状态是网络的输入，是agent需要做出的动作，是网络的输出值，表示网络的参数，下面我们来介绍强化学习(

目录1. 引言2. 数学推导2.1 状态价值函数2.2 策略梯度2.3 蒙特卡罗近似3. 算法1. 引言我们上次讲到了价值学习，这次我们来看看基于策略的学习，我们状态价值函数能够描述当前状态下局势的好坏，如果越大那局势不就会越好吗，所以我们得到了策略学习的基本思想：找到最优的action使达到最大。2. 数学推导2.1 状态价值函数我们之前知道状态价值函数，我们先用神经网络来近似，这里的是神经网络

目录1. 引言2. 数学推导2. 算法步骤1. 引言我们现在来看看强化学习中一种常用的算法：Sarsa算法。它常用于学习动作价值网络。2. 数学推导我们知道动作价值函数 就是return对于随机变量state和action的期望值，即：我们之前推导过一个return的递推式：将其代入得到我们知道就是的期望，于是我们得到等式右端含有随机变量，我们使用来近似，用来近似，于是我们有，又由于等式右端整体是

目录1. 数学知识1.1 随机变量与观测值1.2 概率密度函数1.3 期望2. 专业术语2.1 agent2.2 action2.3 state2.4 policy2.5 reward2.6 state transition2.7 trajectory2.8 return2.9 value function2.9.1 动作价值函数2.9.2 状态价值函数3.OpenAI Gym讲完了神经网络的一些

目录1. 引言2. 估计2.1 估计期望2.2 估计价值函数2.3 估计状态函数3. 算法3.1 策略网络3.2 价值网络1. 引言我们上次讲到了baseline的基本概念，今天来讲讲使用到baseline的常用算法：REINFORCE2. 估计我们之前得到了状态价值函数的梯度表达式我们希望使其梯度上升，现状就需要解决这么几个难题：等式右侧是一个期望表达式，不好计算；含有未知的；含有未知的，现在我

目录1. 引言2. 数学推导3. 算法1. 引言我们上次已经介绍了Saras算法，现在我们来学习一下和Saras算法非常相似的一个算法:Q-learning算法。Q-learning是一种用于机器学习的强化学习技术。 Q-learning的目标是学习一种策略，告诉Agent在什么情况下要采取什么行动。 它不需要环境模型，可以处理随机转换和奖励的问题，而无需进行调整。对于任何有限马尔可夫决策过程（F

1. 引言我们上次最后提到了动作价值函数,它是与状态(state)、动作(action)和策略函数有关的概率分布函数，其中我们提到的它取最优策略后得到的最优动作价值函数，其中的影响已经被消除，所以在给定状态下我们想要最优化就是寻找最好的,所谓价值学习就是使用神经网络DQN来拟合函数，其中是观测到的状态是网络的输入，是agent需要做出的动作，是网络的输出值，表示网络的参数，下面我们来介绍强化学习(

目录1. 引言2. 数学推导2.1 状态价值函数2.2 策略梯度2.3 蒙特卡罗近似3. 算法1. 引言我们上次讲到了价值学习，这次我们来看看基于策略的学习，我们状态价值函数能够描述当前状态下局势的好坏，如果越大那局势不就会越好吗，所以我们得到了策略学习的基本思想：找到最优的action使达到最大。2. 数学推导2.1 状态价值函数我们之前知道状态价值函数，我们先用神经网络来近似，这里的是神经网络