本文是 K3 Serve 模块的完整交互式演示，14 个 Tab 覆盖投机回放（投影缓存 vs 快照）、重演一致性验证、ReplaySSM 环形缓冲、统一页池（MLA 分页 + KDA 恒定）、前缀缓存两阶段 lookup + KDA checkpoint 原子性、引擎 before/after、Fleet 一致哈希路由 + 预算隔离。全部 CPU 实时运行，复用decode.pyengine.p

看 SGLang 的真实定义（temporalSGLang 的 ReplaySSM 不是"存快照"，而是"存原始输入 + 重演"！它和 decode.py 的投影重放是同一路线，只是实现细节不同（GDN 存 raw input 窗口，KDA 存环）。另外，业界还有 RecoverSSM 方式。ReplaySSM：验证后重新回放接受的部分；RecoverSSM：只提交接受部分的状态更新。

逻辑匹配可以落在 block 内部的 4480 边界，并关联该位置已经生成的 KDA state，而不必把 Prefix Matching 粗化为 4096 的物理边界。它不是把一个未完成的 state “截半”，而是把多个逻辑恢复点放进较大的物理容器：物理上合并存储，逻辑上细粒度命中。它是 state 的物理容器，类似 KV block 的 “内存页” 角色，但里面装的是 KDA 状态快照，不是

注：KDA (Kimi Delta Attention) 是 K3 的线性注意力机制，核心思想是用固定大小状态矩阵 + delta‑rule 纠错 + 有界衰减实现O(1) 状态、O(T) 并行的序列建模。K3 的 MLA 层是 NoPE (无位置编码)，ShortConv 给每个通道注入局部位置信息：因果性：只看当前 + 过去 K‑1 个 token (左侧补零)恒等初始化：, 其余为 0 →

本文档是复刻 KIMI K3 KDA（Kimi Delta Attention）的第二部分，因为文章实在太长了，所以分为两期发出。本篇主要分析并行相关的部分。Chunkwise 并行并不是没有代价。RNN 的状态递推通常对输入顺序敏感：交换两个 Token 的位置，会改变它们经过的状态，也会改变后续计算。而 Attention 的一次内容聚合并不天然表达顺序关系。固定一个 Query，如果只把可见

本文档是复刻 KIMI K3 KDA（Kimi Delta Attention）的第一部分，因为文章实在太长了，所以分为两期发出。不同于 GDN 的 head-wise 粗粒度遗忘和 vanilla 线性注意力的无选择性累积，KDA 通过channel-wise 有界衰减 + delta-rule 写入，在固定大小状态矩阵 S 上实现了可控记忆、可稠密 chunkwise 并行、且无位置编码也自洽

准备开一个新系列：在 CPU（PC）上复刻（微缩）大模型。为何要开这个系列？是因为：因此我们会对大模型（LLM & 机器人）进行学习，不但有博客，还有github项目 https://github.com/RossiLH/Model-Viz 作为配合使用。对于项目的一些说明：这个项目和系列博客是我的一个尝试，也是我学习的过程。不确定是否满足读者的需求，也肯定有疏漏和谬误（尤其是demo和测试部分）

什么是世界模型？你在打游戏的时候，比如玩《超级马里奥》，你看到前面有个坑——你的大脑会立刻"想象"出：如果我跳过去，就会安全落地；如果我直接走，就会掉下去。你之所以能"想象"出这个结果，是因为你的大脑里已经有一个关于这个世界的"小模型"——你知道重力是怎么回事、知道马里奥能跳多远。世界模型（World Model）就是教计算机也拥有这种"想象能力"。你给计算机看很多视频（比如机器人推东西、人玩游戏

记录一次OpenResty支持http v2的问题排查。

路线一：分层编排（Hierarchical Orchestration）——已成事实标准。几乎所有新系统都采用"慢脑决策 + 快脑执行"的两层甚至三层架构。差异只在：决策者是否冻结（HumanCLAW/RPent 冻结，RoboClaw 用 ICL）、执行者是否学习（RoboClaw 的 VLA 训练，RPent 的 VLA 冻结）。这条路线已从"学术选项"变为"工业默认"。路线二：基元/技能化接