用过 ChatGPT 或本地部署大模型的人应该都有体会：输入很长的问题时，模型"思考"要花一阵子，但一旦开始输出，文字就一行一行地蹦出来，速度相对稳定。这里面的两个阶段，工程上分别叫 Prefill（预填充）和 Decode（解码），它们的行为模式和性能瓶颈完全不同。Prefill 阶段并行读入整个 prompt，逐层计算并写入 KV 缓存，最后产出第一个 token。Decode 阶段则是自回归

2026年第二季度，全球人工智能产业经历了一场前所未有的格局重构。标志性事件是ChatGPT的全球市场份额首次跌破50%——这个曾经几乎垄断AI助手市场的产品，如今正面临来自全球各地的强力挑战。

很多人一听到 Agent 就想到"能聊天的机器人"，但实际上真正能跑起来的 Agent，核心不是聊天，而是把大模型放进一条可控的"感知—决策—行动"链路里，让它自己去调用工具、查资料、做判断、验结果。这篇文章不铺开讲概念史，而是沿着我实际做项目时的完整路径来写：Agent 架构到底怎么拆、单 Agent 和多 Agent 各自怎么落地、记忆与安全这两块最容易被忽视的硬骨头怎么啃。

Agent 与聊天机器人的本质区别，在于它完成的是"任务委托"而不是"一次回复"。业务目标的定义要具体到可验收：输入是什么、输出是什么、验收标准是什么、失败怎么办。一个反例是"帮用户查天气"——这没有定义清楚。正例是"在收到’查天气’指令时，调用天气 API 获取指定城市未来三天的天气，按模板生成包含温度、降水概率、穿衣建议的回复，API 失败时给出明确的兜底话术"。可验收，才可评测，才可迭代。A

AI Agent 是过去一年大模型落地形态的最大变化。从"问答机器人"到"自主干活的智能体"，开发者对 Agent 的理解也在快速迭代：它不再是套一个 ReAct 循环的玩具，而是一套涉及规划、记忆、工具、执行、评测的完整工程体系。这篇文章从框架选型讲起，拆解 Agent 的核心运行时组件，结合生产案例梳理工程落地的关键决策。

vLLM 的成功给推理优化树立了一个范式：用系统级的思维解决模型级的问题。PagedAttention 学的是操作系统，连续批处理学的是调度器——它没有改变模型本身，却通过工程手段把硬件潜力释放了出来。对工程团队而言，这条路径同样适用：先搞懂瓶颈在哪（带宽与容量，而非算力），再选择匹配的手段（显存管理、批处理、量化），最后用数据验证收益。模型在迭代，硬件在升级，但"找到瓶颈、对症下药、数据说话"的

Agent（智能体）是过去两年大模型应用领域最热的方向之一。与传统聊天机器人不同，Agent 的核心特征是自主性：它不只是回答一个问题，而是理解目标、拆解步骤、调用工具、根据结果调整策略，最终完成一个多步骤任务。但"能跑 Demo"和"能上生产"之间隔着很远的距离。这篇文章从框架选型讲起，再深入到工程落地的关键环节，帮你建立一套务实的 Agent 开发方法论。

传统推理中，KV Cache 需要为每个请求预分配连续显存，按最大可能长度预留，导致大量显存浪费在"用不上的位置"。PagedAttention 把 KV Cache 切成固定大小的块（类似操作系统的分页内存），按需分配、不连续存放。效果是显存碎片率大幅下降、利用率显著提升，同样的显存能装下更多并发请求。。传统批处理要等一个 batch 全部生成完才处理下一个，GPU 在生成后期大量空转。连续批处

Agent Harness 的定义极其简洁：Agent 是模型与 Harness 的组合。Harness 是所有不属于模型本身的代码、配置和执行逻辑。一个裸模型不是 Agent，但当 Harness 给它提供状态、工具执行、反馈循环和可执行约束之后，它就变成了一个 Agent。用计算机类比理解会更清晰。模型是 CPU，提供原始处理能力；上下文窗口是内存，是有限且易失的工作记忆；Agent Harn

但真实业务很少是一次问答能搞定的——“帮我查一下上个月华东区的销售数据，画成图表，写一段分析结论，发到群里”——这需要理解意图、调用多个工具、按顺序执行、汇总结果。Agent（智能体）的本质，就是把"模型 + 工具 + 循环"组合起来：模型负责推理决策，工具负责执行动作，循环负责反复"思考—行动—观察"直到任务完成。LangChain 提供组件库，LangGraph 在其上提供状态图编排——把 A