首先了解为什么要用强化学习？强化学习是智能体(Agent)与环境之间一种学习和反馈。就像狗撞在玻璃门上两次，第三次它就不会再去跑到玻璃门了。可以通过强化学习来实现经验的快速积累，并针对实时情况作出动态规划(注意强化学习和无监督学习的区别)其中，用的最广泛的就是Q Learning了。

Q Learning是由Q函数引出来了的，因此先给出Q函数和V函数的定义。

----------------------------------------------------------------------------------------------------------------------------------

以下都是图片，实在是不想在写一遍了，就偷懒了。。。。

V函数称为状态值函数，表示从状态x出发，采用策略缩带来的累积奖赏值。而Q函数称为状态-动作值函数，它比状态值函数多了一步，就是在指定初始状态x时，也指定了第一步动作a，同样Q函数也是表示累积奖赏值。这里都是采用的折扣累积奖赏。下面就来推导下Q函数的公式。先假设状态转移函数P和奖赏函数R是已知的。推导过程如下：