【轻量化复刻大模型 / KIMI K3】KDA 对 AI Infra 的挑战与各家应对

逻辑匹配可以落在 block 内部的 4480 边界，并关联该位置已经生成的 KDA state，而不必把 Prefix Matching 粗化为 4096 的物理边界。它不是把一个未完成的 state “截半”，而是把多个逻辑恢复点放进较大的物理容器：物理上合并存储，逻辑上细粒度命中。它是 state 的物理容器，类似 KV block 的 “内存页” 角色，但里面装的是 KDA 状态快照，不是

本地跑大模型总 OOM，显存预算到底该怎么算？

本文提供可直接运行的显存预算计算器，系统解析本地部署大模型时OOM问题的根源——显存占用由权重、KVCache、计算缓冲区和框架开销四部分构成。重点揭示KVCache易被低估的特性，给出权重与KVCache的精确计算公式，并针对MoE模型提出反直觉优化策略。附带四级降级方案与验证方法，实现从“事后崩溃”到“事前可算”的转变，确保模型加载前即可准确判断是否可行。

你搭在 Cursor 上的接单产线，11 月 12 号要散架