登录社区云，与社区用户共同成长
邀请您加入社区
为遵守国家网络实名制规定，未绑定将限制内容发布与互动
摘要： AI推理成本持续下降的关键在于系统级优化，而非单纯模型简化。核心突破包括：1）MoE架构实现稀疏计算，降低参数量；2）KV Cache减少重复计算；3）FlashAttention优化GPU内存访问；4）Continuous Batching提升GPU利用率；5）PagedAttention管理显存碎片；6）量化技术压缩模型体积；7）Speculative Decoding加速生成。这些技
Agent Runtime 是负责管理 Agent 生命周期、状态、记忆、工具调度和资源控制的运行时系统。AI AgentLLMRuntime完整 Agent状态ContextMemoryToolSchedulerCheckpointRecoveryGovernance真正运行的是 Runtime。模型只是 Runtime 中的一个组件。AgentLLMPromptLLMRuntimeMemory
在软件工程快速迭代、技术框架不断更新的时代，很多技术书籍转瞬就会被时代淘汰。但总有少数经典，能够跨越技术周期，成为一代代开发者的底层必修课。Bob大叔（Robert C. Martin）作为软件工程领域的标杆级人物，其著作多年来深刻影响着全球程序员的编码习惯、工程思维与团队研发理念，是无数人入门进阶、搭建专业技术体系的核心参考书。
现在市面上能调用的模型确实越来越多了，各家都有自己的亮点和侧重点，光看宣传文档和跑分数据其实很难判断哪个真正适合自己——尤其是当任务从单轮对话延伸到多步操作的时候，情况就更加复杂了。所以我就想着，不如把几个主流模型都拉出来实际跑一遍，看看它们真实表现到底如何，也好给自己找个手感。
摘要： Agent系统中KV Cache的指数级增长是导致GPU显存爆炸的核心原因。与普通ChatBot的线性KV Cache增长不同，Agent的多轮内部推理循环（如Tool Call、Memory Injection、Multi-Agent交互）会形成树状KV Cache结构，显存消耗随步骤、工具调用和记忆注入叠加而激增。解决方案包括分层管理KV Cache（热/温/冷缓存）、压缩记忆、限制推
《Transformer推理显存黑洞：KV Cache的技术内幕与优化全景》 摘要：KV Cache是Transformer推理过程中鲜为人知却至关重要的显存消耗源。作为自回归生成的历史状态存储器，它逐层缓存Key/Value张量，导致显存占用随token数和用户数线性增长（如70B模型单用户可达4-8GB）。本文揭示了KV Cache导致GPU低利用率的核心矛盾，剖析了vLLM的PagedAtt
本文深入探讨了AI Agent长期记忆系统的实现原理与架构设计。作者展菲（技术博主/图书作者）指出，真正的Agent记忆系统远非简单的聊天记录存储，而是一套包含工作记忆、会话记忆、情景记忆、语义记忆和程序性记忆的多层次架构。文章从LLM天然无记忆的特性出发，系统分析了五层记忆结构的功能差异：工作记忆处理即时任务，会话记忆维持对话上下文，情景记忆记录历史事件，语义记忆存储稳定知识，程序性记忆沉淀可复
当下，AI编程正告别“工具辅助写代码”的初级阶段，迎来历史性范式拐点。过往依托大模型的代码生成、智能补全等能力，仅实现了开发效率的单点提升，始终未能突破“人主导、AI辅助”的传统开发逻辑，无法适配复杂项目、全链路交付、持续迭代的工业化软件工程需求。
本文深入剖析了AI Agent的决策机制，指出其核心在于持续运行的Decision Engine（决策引擎），而非单纯的LLM推理能力。作者展菲作为人工智能领域的专家，通过六层架构解析了企业级Agent的决策流程： 目标层（Goal）：明确任务优先级和完成标准 上下文构建层（Context Builder）：综合分析用户状态、环境等多元信息 推理引擎层（Reasoning Engine）：生成多个
最近这段时间，国内外模型更新得很快。如果只看发布会和榜单，大家都会觉得每个模型都很强。参数更大、上下文更长、推理更强、价格更低，听起来都挺猛。但真正用到工作流里，会发现另一件事：模型强不强，不只看它会不会回答问题，还要看它能不能把一个任务完整跑完。
