本文整理自 QCon 北京 2026 吴杰分享《AI负载挑战与OpenYuanrong实践》，通过AI音视频总结工具 Ai好记 进行转录整理，以下为视频转文字整理后的会议笔记内容。

问题：传统那套编排，撑不住 AI 这批新负载了

做云原生的人应该都有体感，过去几年微服务那套思路：无状态、短请求、随手负载均衡，Kubernetes 一编排基本够用。可 AI Agent 一上来，负载形态整个变了。

吴杰这场分享的核心观点很直接：Agentic AI 负载从无状态短请求，转向了有状态、长会话（Session）的模式，还带出了高频沙箱调用、异构动态负载这些新东西。传统编排系统开始显得吃力。

这批新负载带来的挑战，拆开看其实是一串硬骨头：

• 会话并发上去了，资源利用率却在往下掉。每个 Agent 任务多轮对话，状态绑在特定实例上，负载均衡和资源兜底都变难了。
• 沙箱要频繁启动、快速回收，速度跟不上，体验就卡。
• KV Cache 管理，直接影响大模型推理吞吐。
• 强化学习训推异步化、跨集群协同、动态资源调度，单点中间件堆一摞也未必解得干净。

一句话：不是某一个环节坏了，是整个底座和负载形态对不上了。

解题思路：不堆中间件，做一个「分布式内核」

OpenYuanrong 的做法不是再叠几个独立中间件，而是把底层能力统一抽象成一个「分布式内核」，把计算、数据、调度这些基础能力收拢起来，给上层一套一致的编程接口。

三个核心支柱：

• 函数系统：把 Agent 服务、大模型推理、强化学习这些负载统一抽象，交给同一套调度逻辑。
• 数据系统：以分布式对象、流的方式管理数据，HBM 里的数据也能直接当对象 put/get，实现设备间高速传输。
• 调度能力：可编程的控制面，能处理强化学习这种一个任务内部混着训练、推理、资源需求随阶段剧烈波动的复杂负载。

想法是好的，落地靠的是几个很实的技术实践。

关键技术实践：几个值得记住的点

有状态函数 + Session 亲和

用有状态函数管长会话，把对话历史、任务进度这样必须绑定的状态和特定实例绑定起来。这是 Agent 负载和传统微服务本质区别的应对方式。

KV 缓存时分复用

Session 亲和缓存，意思是在两次推理的间隔里做文章。和 Agent 框架协同，拿到下一个推理请求的预估时间（hint），趁工具执行这类空档，把当前 Session 的 KV 缓存从 NPU 换出，换别的 Session 进来。

目的很单纯：把宝贵的 NPU 内存利用率拉高。

函数集合（Function Set）

一个多卡多进程的模型实例（比如大模型服务），抽象成「函数集合」。

当它负载出现空泡，系统能快速把它的状态（checkpoint、模型参数）换出，换别的任务状态进来，实现 NPU 资源的动态共享和高效填充，治的是多卡实例的资源空泡问题。

异构内存对象 + 强化学习异步化

数据系统支持把 HBM 数据直接当分布式对象操作，参数异步更新，搭配训推分离、训推共卡的策略切换，强化学习端到端时延能砍掉不少。

落地的账：拿数据说话

分享里给了几个真实场景的数，很能说明问题。在华为小艺这类场景里：

• 万级 Session 并发
• 毫秒级故障恢复
• 推理实例秒级启动
• 强化学习端到端时延减半
• 资源利用率显著提升

对开发者最大的改变是：你只需要关注 Python 业务逻辑，通过简单的函数装饰和调用，就能拿到分布式调度、服务发现、负载均衡这些能力，不用再深抠 Kubernetes 和沙箱这些底层细节。

哪些人能从这个案例里拿走东西

• AI 基础设施架构师/工程师：这是针对 Agent、大模型推理、RL 新负载的一整套分析框架和可选方案。
• 云原生与分布式系统开发者：能看出 Serverless、有状态服务、缓存与数据传输这些老技术在 AI 时代怎么演进。
• Agent 或强化学习方向的工程师：借这类平台摆脱底层基础设施束缚，专心搞业务。
• 技术决策者：评估是「多中间件堆砌」还是「统一平台」的路径选择，这个案例给出了一个可参考的建设思路。

以上内容由 Ai好记 转录整理。 Ai好记是一款音视频转图文笔记的 AI 学习助手，支持B站、抖音、小宇宙等平台链接及本地音视频文件，转入后自动生成精华速览、思维导图和结构化笔记，帮助你把几小时的视频内容变成可搜索、可复习的图文笔记。