AI Agent这个概念最近被炒得很热，从管理日程的语音助手到仓库里跑来跑去的机器人，大家都在谈论Agent的"自主性"。但是真正让Agent变得intelligent的核心技术，其实是强化学习（Reinforcement Learning, RL）。

想象一下自动驾驶汽车在复杂路况中的决策，或者量化交易系统在市场波动时的操作——这些场景的共同点是什么？环境动态变化，规则无法穷尽。传统的if-else逻辑在这里完全失效，而RL恰好擅长处理这类问题。它让Agent像人一样，从试错中学习，在探索（exploration）和利用（exploitation）之间找平衡。

本文会从RL的数学基础讲起，然后深入到知识图谱的多跳推理，最后在LangGraph框架里搭建一个RL驱动的智能系统。

RL的底层逻辑：马尔可夫决策过程
教机器人玩游戏的过程其实很像教小孩骑自行车——没人会给它写一本"如何骑车的完整手册"，而是让它自己试，摔了就爬起来再试，在练习的同时我们给予帮助，如果做对就鼓励，做错了给个提示应该怎么做，这样慢慢他就学会了，而RL的数学框架就是根据这个流程设计的。

RL的核心是Markov Decision Process（MDP），它把决策过程拆成几个要素：状态（State）、动作（Action）、转移概率（Transition）、奖励（Reward）和折扣因子（Discount Factor）。形式化表示是个五元组 (S, A, P, R, γ)。

State（状态集合 S）就是"现在是什么情况"。比如对于一个走迷宫的机器人，状态可能就是它在网格上的坐标（3,5）；而对于自动驾驶系统，状态会复杂得多——车速、位置、周围障碍物、天气情况等等都得考虑进去。状态可以是离散的（grid position），也可以是连续的（speed from 0 to 100 mph）。

Action（动作集合 A）知道自己的状态后，下一步能干什么？走迷宫的机器人只有上下左右四个选择，但一个优化仓库作业的物流Agent可能要在"取包裹A"、"送到货架B"、"等待库存更新"等等决策之间做选择。动作空间的设计直接影响学习难度。

Transition Probability（转移概率 P(s'|s,a)）这个概念很关键但经常被忽略。在理想状态下，机器人"向右走"就一定会到右边的格子；但现实世界有噪音——地面可能很滑，有80%概率到达目标位置，10%概率滑到上面，10%滑到下面。P函数描述的就是这种不确定性，输出的概率总和为1。没有这个，RL根本应付不了真实环境的复杂度。

Reward（奖励函数 R(s,a,s')）Reward是个标量，可能是+10或-5，Agent通过它就可以知道刚当前操作后的好坏。比如取到球了？+1。撞墙了？-1。商业场景里奖励设计更直接——准时送达+50，燃油浪费-20。

不过奖励设计是个大坑。太稀疏（只有最终结果有反馈）会让Agent瞎转悠找不到方向；太密集（每一步都给分）又容易让它钻空子，比如游戏AI可能会发现原地打转能刷小分，就跟游戏里面我们找到漏洞后刷分一样，AI也会刷份。

Discount Factor（折扣因子 γ）γ取值在[0,1]之间，决定了Agent有多"远视"。γ=0的话Agent只看眼前利益，γ=1则会无限规划未来（计算量爆炸）。实际应用中通常设0.9或0.99，比如股票交易系统既要抓短期机会，又不能为了眼前收益把整个portfolio搞崩。

这五个要素支撑起了Q-Learning、SARSA这些经典算法。Q-Learning是off-policy的，可以从任何动作的经验中学习；SARSA是on-policy的，只从实际执行的动作学习。对Agent来说，Partially Observable MDP（POMDP）更贴近现实——系统必须从有限观测推断隐藏状态，就像人在信息不完整时做判断。

知识图谱的多跳推理
知识图谱（Knowledge Graph）本质上是个大网络，节点代表实体（entity），边代表关系（relation）。"巴黎"通过"capital_of"连到"法国"，"法国"通过"located_in"连到"欧洲"——这种结构让AI可以做复杂的关联查询。

但是问题就来了：面对"埃菲尔铁塔所在国家的首都人口是多少"这种query，Agent需要跳好几步——从Eiffel Tower → located_in → France → capital → Paris → population。路径很多，怎么选最优的？如果暴力遍历，那么在大规模KG上根本跑不动。

RL就来了，它把图遍历建模成MDP：当前节点是state，选择哪条边是action，到达目标节点给正reward，走错路给负reward。Agent经过训练后能学会高效路径，不用每次都试遍所有可能。

Reward shaping在这里尤其重要。基础设定可能是"到终点+10，其他步骤0"，但是这样太稀疏了，Agent在大图里会迷路。更好的做法是给中间步骤也设奖励——比如每接近目标一步就+1，偏离就-0.5。关键是这些额外奖励不能改变最优策略的本质，只是引导探索方向，就像给登山者设的路标并不妨碍他发现更好的路线。