9 月，DeepSeek 公开了一套名为 DSec 的生产级 Agent 沙箱平台。它不是新模型，却支撑着一个惊人的运行规模：单个规模单元约有 160 台 CPU 节点、3 万颗 CPU 核心和 250 TB 内存，单日服务约 300 万个沙箱，峰值并发超过 38 万，创建速度超过每秒 5000 个。

这组数字揭示了 Agent 训练与评测背后的系统压力。每一批大规模 Rollout 都可能涉及沙箱创建、镜像加载、工具调用、状态保存、资源回收和故障隔离。模型能力越强、交互链路越长，对训练基础设施的要求就越高。

而当模型进入大规模在线推理与服务阶段，压力又进一步转向 KV Cache、推理调度、数据传输和系统运维。长上下文不断挤占显存，Agent 多轮交互加剧 Prefill 与 Decode 之间的干扰，跨节点部署又将缓存问题延伸到网络和存储。

AI 系统的竞争，正在从“谁的模型更强”，进一步走向“谁能让模型运行得更快、更稳、更便宜”。

为此，11 月 20—21 日，由 CSDN 与奇点智能研究院联合主办的「2026 奇点智能技术大会」将在北京万达文华酒店举行，并特别设置「AI Infra 基础设施与 AgenticOps」专题。

来自亚马逊云科技、北京大学、清华大学、沐曦股份、中国科学技术大学、阿里云、蚂蚁集团、小红书，以及 SGLang、Mooncake、LMCache、KTransformers、AgentENV、MemTensor 等团队与开源项目的技术专家，将围绕大规模推理、KV Cache 管理、Agent 执行环境、异构算力、资源调度与智能运维，带来一组来自真实生产现场的系统解法。

推理规模扩大后，为什么「多加GPU」不一定有效？

PD分离之后，KV Cache如何跨机高效流动？

Prefill 计算密集，Decode访存密集。将两者分开部署能够减少相互干扰，但也会让 KV Cache 变成推理关键路径上的跨机流量。当集群规模扩大，网卡语义、内存注册、GPU 亲和和初始化开销都会成为新的瓶颈。

亚马逊云科技首席应用科学家王鹤男带来《Mooncake+SGLang+EFA：在亚马逊云科技上构建大规模 PD 分离推理的适配实践》。

Mooncake 通过统一的 Transfer Engine 和 Store接口，将网卡、加速器和推理框架之间的耦合拆开。面对 EFA 只提供无连接 SRD、不支持传统 RDMA RC 的问题，团队重新设计传输插件，将 Peer 上限从 48 提升到 816 以上，GPU 间带宽达到线速的 97.5%，同时将 Mooncake Store 初始化时间从 22 分钟降低到 40 秒。

该相关方案已经运行在 200 余台 p6-b300 组成的生产集群中。这是一场从网络协议、推理框架一直讲到生产集群排障的完整实践。

Agentic AI 需要怎样的新型芯片架构？

传统芯片架构关注“单位时间能完成多少计算”，但 Agentic AI 包含长上下文、多步推理、MoE 和持续决策，系统越来越受制于访存、跨卡通信和软件栈迭代速度。

沐曦股份光启研究院科学家谭颖然将带来《重新定义“计算”：面向 Agentic AI 的芯片架构设计方法论》。现场分享将从算得更快转向让数据流动得更聪明，重点讨论异步访存与 TMA、Remote Write 与硬件屏障、异步流水线，以及基于 Tensor Algebra 自动寻找最优数据布局的方法。

更值得关注的是，未来芯片不仅要提供算力，还要向上层 Agent 暴露足够的可观测信息，让软件能够感知硬件状态并自主调整策略。

参会者将获得三把可以用于架构分析的「钥匙」：如何让计算与数据加载解耦、如何降低跨卡同步开销，以及如何让 Agent 参与性能诊断和布局优化。

没有昂贵集群，如何研究和微调超大 MoE 模型？

超大 MoE 模型持续扩张，但大量参数无法全部装进 GPU 显存。高校实验室和中小团队即使拥有好的算法设想，也常常被硬件成本挡在验证环节之外。

KTransformers 核心开发者李沛霖带来的《KTransformers：支撑超大模型算法—系统协同的低成本训推平台》分享将介绍 KTransformers 利用 CPU 内存承载稀疏 Expert，通过 CPU/GPU 异构协同完成推理与微调，并打通 LlamaFactory 微调、SGLang 推理与评测流程。

平台将模型放置策略、计算后端和训推接口开放出来，让算法研究者可以在有限资源下验证新的 MoE 算法与系统优化。

现场参会用户将看懂超大模型在内存、计算、通信和调度上的真实瓶颈，并获得一条从微调、部署到评测迭代的低成本实践路径。

如果你来自高校实验室、创业团队，或者正在评估企业内部私有化训推方案，这场分享会非常具体。

模型接入 SGLang 之后，性能优化才刚刚开始

推理框架能够让模型跑起来，却不代表已经达到最优性能。模型结构、算子实现、批处理、缓存管理和调度策略之间的组合，决定了最终吞吐、延迟与资源成本。

蚂蚁百灵推理高级架构师仇大玉将带来《基于 SGLang 的 Ling-3.1-flash 极致推理优化》。分享将以 Ling-3.1-flash 为真实案例，呈现模型进入 SGLang 推理系统后，如何围绕端到端链路继续进行性能分析与优化。

对于已经在使用 SGLang，或者正在把自研模型接入主流推理引擎的开发者，这场分享能够帮助你建立从模型结构、执行引擎到线上服务指标的完整性能视角。

多 Agent 一起工作，KV Cache 为什么会成为系统瓶颈？

Agent 等待工具时，显存为什么不能先让给别人？

多智能体应用具有复杂的执行依赖。Agent 调用搜索、数据库或代码执行工具时，GPU 计算可能暂停，但它的 KV Cache 仍然占据显存。如果直接清除， Agent 恢复后又需要重新计算上下文。

与此同时，非关键任务还可能挤占关键路径任务的缓存空间，多个 Agent 共享相似上下文时，也存在大量重复计算和存储。

北京大学集成电路学院助理教授卓有为将带来《面向多智能体应用的大模型推理调度与缓存优化》。TokenCake 感知 Agent 之间的依赖关系和运行状态，通过动态显存分区、主动缓存卸载与预测式回迁，优先保障关键任务推进。

TokenDance 则针对多 Agent 轮次协作中的共享上下文，通过集合式缓存复用、共享主副本、私有差分和融合恢复，减少重复存储与数据搬运。

更重要的是，现场用户将获得一套“工作负载分析—瓶颈定位—机制设计—端到端验证”的系统优化方法。

Agentic 场景需要什么样的全局调度视角？

传统推理调度器通常只看到单个请求，却看不到一次 Agent 任务背后的会话关系、缓存状态和执行阶段。

结果是拥有大量可复用上下文的请求被路由到错误实例，负载看似均衡，KV Cache 却无法命中。线上 Serving 与 Agent RL 又使用不同链路，基础设施难以复用。

小红书 Dots 团队成员、北京大学计算机学院博士马瑞阳将分享《小红书 Dots 推理基础设施 Agentic 场景支持与应用实践》。

小红书 Dots 基于 Dynamo 构建全局资源与缓存视图，通过 KV 感知路由和负载均衡选择执行节点，并以可编程 KV 控制和 Session Prefix Indexer 实现会话级缓存管理，底层则由 SGLang、Mooncake 协同完成执行、存储与传输。

你将看到同一套 Agentic Infra 如何同时支持点点 Agent 线上 Serving 与 Agent RL 后训练，并了解如何降低交互延迟、提升采样吞吐与整体资源利用率。

对于正在搭建企业 Agent 平台的团队，这是一套具有参考价值的端到端架构。

前缀缓存为什么不足以支撑长时间运行的 Agent？

传统 Prefix Cache 适合复用相同的提示词前缀，但 Agent 会持续产生分支、回溯、多轮交互和动态上下文。简单的前缀匹配与逐出策略，很难识别哪些缓存仍属于活跃任务。

SGLang 核心贡献者王书文带来《Agentic Inference 的上下文缓存：从 RadixAttention 到 Unified Radix Cache》。分享将从 RadixAttention 出发，梳理 SGLang 如何逐步演进到 Unified Radix Cache，并面向 Agentic Inference、Hybrid Model 和多级存储统一缓存管理。

参会用户将理解 RadixAttention 为什么能够提升上下文复用效率，也能看清它在长生命周期 Agent 任务中的边界，以及 Unified Radix Cache 与 HiCache 试图解决的关键问题。

KV Cache 装不进 HBM，能否只搬真正需要的 Token？

在长上下文推理中，KV Cache 会持续占用高带宽内存。传统页级卸载会搬运整页数据，但稀疏注意力真正需要的可能只是其中少量 Token，搬运粒度与访问粒度并不匹配。

中国科学技术大学特任副研究员白有辉将分享《面向国产超节点的稀疏注意力驱动的 KVCache 管理系统》。系统利用 Top-K 索引驱动 Token 级按需读取，将完整历史 KV 存放在超节点 Host 内存池，在 NPU 侧缓存热点数据，通过 SparseKVCacheManager 管理主机存储、设备缓存与索引映射，并利用 UniDex 索引拷贝算子兼容 NPU 图执行。

进一步结合 HCCS 与 MemFabric，探索跨节点远端 DRAM 访问和共享 KV 内存池。

为什么 KV Cache 需要从引擎内部独立出来？

当企业同时使用 vLLM、SGLang 等多个推理引擎，并接入 CPU 内存、SSD、远端存储和不同传输后端时，每个引擎单独维护 KV Cache，会造成重复建设、缓存无法复用和运维体系割裂。

LMCache Maintainer 核心架构师毛宝龙与郑春晓将联合带来《统一 KV Cache 管理层：LMCache 的开放架构与生态集成实践》。

LMCache 试图在推理引擎与存储后端之间建立一个中立、开放、可扩展的 KV Cache 管理层。分享将以 MooncakeStore 为例讲解如何扩展新的 KVStore 后端，以 SGLang 为例拆解推理引擎如何完成缓存查找、加载、存储和复用，并深入部署模式、指标观测、日志排查和生产运维。

参会用户将获得两条可直接参考的集成路径：怎样为 LMCache 接入新的存储后端，以及怎样让新的推理引擎使用统一 KV Cache 能力。

Agent 开始执行任务后，谁来提供可扩展的运行环境和记忆？

海量 Agent 环境为何不能简单地启动更多容器？

Agent 强化学习、评测和在线服务需要在真实软件环境中读取代码、安装依赖、访问数据库并执行复杂操作。

如果每条轨迹都完整拉取镜像并长期占用内存，环境启动速度、单机密度和存储成本很快会成为规模化训练的瓶颈。

清华大学计算机系助理研究员、AgentENV 发起人闪英迪将带来《AgentENV：Kimi K3 背后的超大规模智能体执行环境架构与实践》。

AgentENV 采用按需镜像拉取与分层块存储提升扩展能力，通过内存复用、页面缓存共享和 Balloon 技术提高单机部署密度，并利用暂停、快照和恢复机制减少空闲资源占用。

该系统已经服务于 Kimi K3 强化学习训练，支撑超过 150 万镜像和 5000 万次执行环境调用。

会场听众将了解一个智能体执行环境从镜像、存储、内存到生命周期管理的完整设计，并看清容器、MicroVM 与快照机制在 Agentic RL 场景中的工程取舍。

链路越来越长，为什么出了问题却找不到责任方？

所有系统都显示正常，P99 毛刺究竟来自哪里？

Agent 请求可能跨越网关、调度器、推理引擎、KV Cache、Sandbox 和外部工具。网关路由倾斜、缓存抖动与 Sandbox 冷启动，最终都可能表现为同一个找不到主人的 P99 延迟。

传统阈值告警只能说明某个指标异常，却很难还原完整因果链。

阿里云可观测高级技术专家曾庆国将带来《Agent 时代的推理基础设施：全栈智能巡检与根因诊断实践》。

阿里云使用 UModel，将资源层、推理引擎、网关和 Agent Sandbox 建模为一张可以推理的关系图，并在此基础上构建健康度计算、群体对比、拓扑聚合、Agent 巡检和带证据链的根因诊断。

现场听众将带走一份推理全栈可观测数据采集清单、一套短生命周期实体的数据留存方法，以及巡检与诊断 Agent 的架构设计。

后训练瓶颈为什么越来越不像算法问题？

RLHF、DPO 和 Agent 强化学习需要在 Rollout、奖励计算、参数更新与推理服务之间不断切换。

训练和推理链路割裂后，GPU利用率低、权重同步慢、显存紧张、调试链路复杂，算法团队的大量时间被系统问题消耗。

蚂蚁集团 AI Infra 技术专家苏乐将带来《破局大模型后训练：AReno 训推一体架构设计与具身智能实践》。

AReno 通过训推一体架构，将算法接口、模型适配、训练引擎、推理服务、权重同步、融合算子和显存管理放入统一系统中。分享将进一步拆解低比特优化器、分桶预取、异步卸载等工程方案，并介绍 VLA 模型接入、仿真环境交互、轨迹采集与策略后训练实践。

现场还将展示 ARenoflow 如何让 Agent 根据自然语言需求生成训练配置，并串起训练编排、运行诊断与模型部署。

为什么值得来现场？

这 13 场分享覆盖了 Agent 基础设施最关键的四条链路：

• 从芯片、网络到推理引擎，解决模型怎样更快、更低成本地运行；

• 从调度、稀疏访问到统一管理层，解决 KV Cache 怎样被复用和治理；

• 从执行环境到记忆原生模型，解决 Agent 怎样长期、并行、安全地行动；

• 从后训练到 AgenticOps，解决复杂系统怎样被训练、观测和诊断。

更重要的是，同一个问题往往存在多条技术路线。

你可以在现场直接比较 SGLang、Mooncake、LMCache、KTransformers、AgentENV 与企业自研平台的架构边界，了解不同方案适用于怎样的模型、硬件与业务负载。

如果你正在从事大模型推理、Agent 平台、GPU/NPU 集群、KV Cache、分布式存储、后训练、可观测或 AI Infra 平台建设，这个专题能够帮助你减少重复试错，更快找到适合自身场景的技术路径。

2026 奇点智能技术大会大会汇聚 70+ 技术嘉宾、18 大前沿专题、70+ 主题演讲、1000+ 行业技术人，从 RSI、Agent、AI Coding、世界模型、Physical AI，到 AI Infra 与企业级 AI，集中呈现 AI 从前沿能力到工程落地的关键进展。

与此同时，2026 奇点智能技术大会将与 C++ 及系统软件技术大会同期举行，这一次，我们把 AI 与系统软件两大技术脉络放到同一现场，一起看趋势、看实践、看落地。

目前大会的最新日程已新鲜出炉，一线技术专家与系统架构师齐聚现场。你既能深度追踪自进化 Agent、AI Coding 等前沿方向，也能理解大模型背后高性能系统、AI 底座的硬核支撑。