同步动态规划是基础：一次性更新所有的S的value。异步动态规划分集中常见类型：in-place 动态规划：不对上一周期的value进行备份，直接使用这一周期的value（当然，本周期的value本来就是上一周期优化的结果，只是少了备份这一步，节省了一些内存）Prioritised Sweeping：计算优化目标值和现实值之差，对多个S计算后排成一列，差值大的在前，依次优化对应的s的

马尔可夫决策过程四元组[X, A, P, R]X : 状态的集合；A：动作的集合；P：状态转移函数，在给定状态x 和动作a 的情况下，转移到其他各个状态的概率；R：转移到下个状态后获得的奖赏；另有策略函数策略函数是在给定的状态x下，决定采取什么样的动作a；注意：1、策略函数和状态转移函数是完全不一样的，策略函数是给定x选择a，状态函数是给定x和a，选定下一个状态，一般来说，策略函

深度学习中模型用数学来表示：S_,R= Model（S,A）model可以是概率性的，也可以是确定性。现行的大多数算法都是model_free的，因为model不容易取的，model_free不是不和model打交道，相反，必须和model交互，交互的方式也是这个公式：S_,R= Model（S,A）关键在于，agent只能把S,A发送给环境（environment）