标准 RL：训练系统是 “主人”→ 它决定问什么、答几次、怎么评分OpenClaw：训练系统是 “寄生者” → 它寄生在真实对话上，被动收集数据Rollout = 被动等待（不是主动生成）Environment = 真实用户（不是模拟器）PRM = 即用即评（不是预训练 RM）Policy = 对外服务（不是内部推理）一切设计选择都源于这个范式转变。Rollout Allocation = 决定"

标准 RL：训练系统是 “主人”→ 它决定问什么、答几次、怎么评分OpenClaw：训练系统是 “寄生者” → 它寄生在真实对话上，被动收集数据Rollout = 被动等待（不是主动生成）Environment = 真实用户（不是模拟器）PRM = 即用即评（不是预训练 RM）Policy = 对外服务（不是内部推理）一切设计选择都源于这个范式转变。Rollout Allocation = 决定"

Agent OS ：五种驯服不确定性的范式》定义了 INV-C（Context Window = Session 的有损投影）——端侧的 Context Engineering 在这一不变量约束下面临云端不存在的物理限制。硬件确定了"能跑什么"。这对应《Agent OS ：五种驯服不确定性的范式》中的 C2 原则（能用环境约束的，不用 Schema）在端侧的升级版——能用硬件约束的，不用软件约束。

DIVL 和 QAM 的配合是 LWD 算法层面的灵魂。维度DIVLQAM角色评价系统（大脑）执行系统（肌肉）核心任务更新QφQ_\varphiQφ​和VψV_\psiVψ​更新πθ\pi_\thetaπθ​解决的问题从异质数据中稳健评估价值把价值信号注入生成式策略输出稳健的 Critic + 梯度改进后的 Flow 策略关键机制分布学习 + 自适应分位数伴随匹配 +σw\sigma_wσw​噪声

QAM 是离线强化学习和生成式策略融合的典范之作。避免 BPTT 的梯度问题：通过 Adjoint Matching，将长链路的梯度反向传播转化为监督学习问题融合 Q 的指引：在保持数据稳定性的同时，利用 Q 函数引导策略向更高奖励方向探索双流设计：通过 actor_slow（模仿）和 actor_fast（优化）的平衡，既保持稳定性又追求卓越精细的数学设计：通过伴随动力学，在轨迹的起止点强制模仿

在 IQL 的"隐式学习"基础上，引入分布式价值建模和自适应乐观，实现了从标量价值到概率分布的范式转换。这套机制让机器人能够在未知状态下保持合理的探索行为：分布集中时敢于乐观，分布弥散时自动保守。与 QAM 结合后，形成了完整的"价值评估（DIVL）→ 动作优化（QAM）"闭环——DIVL 负责画出一张带不确定性地形的价值地图，QAM 则利用这张地图的梯度指引，持续优化机器人的动作生成过程。

有意义的多轮对话要求智能体能够理解上下文。就像人类一样，智能体需要记住对话历史：已经说过和做过什么，以保持连贯性并避免重复。以下是OpenHands Applications的示例图，本篇就来看看会话和交互如何进行。因为本系列借鉴的文章过多，可能在参考文献中有遗漏的文章，如果有，还请大家指出。WebSession 是一个 Web 服务器绑定的会话包装器，负责管理单个 Web 客户端连接并协调 Ag

每一个Eventid: 事件的唯一标识符。source: 事件的来源，可以是AGENTUSER或。timestamp: 事件发生的时间戳。cause: 触发此事件的另一个事件的id。将系统中的所有互动都抽象为Event，我们得到了一种通用的语言。无论是Agent的决策、用户的消息还是环境的反馈，都可以统一处理、存储和分发。特别是cause字段，它像一条看不见的线，将Action和它引起的Obser

智能体（Agent）是一种能够感知和理解环境，并使用工具来实现目标的应用程序。LLM能够动态指导自己的过程和工具使用，保持对任务完成方式的控制。Agent的设计旨在更灵活地处理某些任务，其决策由模型决定，而非预定义的规则。智能体能够接收新的观察数据，并据此优化先前的行动方案。这类似于人类在任务执行中，依据新信息灵活调整策略的过程。依托记忆与反馈机制，智能体可随时间提升自身性能。它能将过往经验铭记于

Agent = 模型 + 工具 + 编排层 + 部署运行时，这里和目前大部分的 AI Agent 的定义（LLM + Tool + Memory）多了一层部署运行时。因此可见Runtime的重要性。在 OpenHands 里，真正让“AI 想法”落地就是Runtime。它像一座可移动的实验室：四面墙把主机世界隔开，却给 Agent 留下齐全的操作台（文件、终端、网络）。