
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
传统推理中,KV Cache 需要为每个请求预分配连续显存,按最大可能长度预留,导致大量显存浪费在"用不上的位置"。PagedAttention 把 KV Cache 切成固定大小的块(类似操作系统的分页内存),按需分配、不连续存放。效果是显存碎片率大幅下降、利用率显著提升,同样的显存能装下更多并发请求。。传统批处理要等一个 batch 全部生成完才处理下一个,GPU 在生成后期大量空转。连续批处
Agent Harness 的定义极其简洁:Agent 是模型与 Harness 的组合。Harness 是所有不属于模型本身的代码、配置和执行逻辑。一个裸模型不是 Agent,但当 Harness 给它提供状态、工具执行、反馈循环和可执行约束之后,它就变成了一个 Agent。用计算机类比理解会更清晰。模型是 CPU,提供原始处理能力;上下文窗口是内存,是有限且易失的工作记忆;Agent Harn
但真实业务很少是一次问答能搞定的——“帮我查一下上个月华东区的销售数据,画成图表,写一段分析结论,发到群里”——这需要理解意图、调用多个工具、按顺序执行、汇总结果。Agent(智能体)的本质,就是把"模型 + 工具 + 循环"组合起来:模型负责推理决策,工具负责执行动作,循环负责反复"思考—行动—观察"直到任务完成。LangChain 提供组件库,LangGraph 在其上提供状态图编排——把 A
本文介绍了基于MovieLens数据集的Python推荐系统实现。首先展示了如何加载和预处理评分数据,构建用户-物品矩阵。然后详细实现了ItemCF推荐算法,包括计算物品相似度和生成推荐结果。文章还提供了模型评估方法,计算准确率、召回率和F1分数,并给出优化建议如相似度优化和推荐多样性提升。整个实现过程包含完整代码示例,从数据准备到推荐生成,为构建个性化推荐系统提供了实用指导。
分类指标:准确率、召回率、F1排序指标业务指标选择原则:根据业务需求选择。
AI Agent 是当前大模型应用领域最受关注的方向,但同时也是概念最混乱的方向。市面上讨论 Agent 的文章,一半在畅想"数字员工替代人类",另一半在教 Prompt 话术,真正把 Agent 的技术架构讲清楚的内容少之又少。这篇文章站在工程师视角,把 Agent 的核心架构拆开:它的工作循环是什么、为什么有效、工具怎么设计、上下文怎么管理、记忆系统怎么搭,以及一个完整的 Agent 系统由哪
几乎每一个从"裸调 API"走向"复杂应用"的开发者,都会在某个时刻遇到 LangChain。它可能是你最熟悉的框架,也可能让你又爱又恨——抽象多、版本迭代快、报错看不懂。但无论如何,LangChain 对 AI 应用开发的价值是真实的:它把大模型应用从"手工拼胶水代码"推进到了"组件化组装"的阶段。这篇文章从工程视角拆解 LangChain,讲清楚它解决什么问题、六大组件怎么用、Agent 怎么
本文介绍了如何在Axum框架中构建企业级中间件栈,处理日志、认证、限流等横切关注点。主要内容包括:1) 使用tower-http快速搭建基础中间件栈,包括TraceLayer日志记录和CorsLayer跨域处理;2) 利用from_fn创建简单的认证中间件,演示了如何在中间件中使用提取器验证Bearer Token。文章强调了中间件在请求处理链中的执行顺序,并展示了如何通过tower生态系统构建灵
在做智能体开发之前,有必要先把问题定义清楚:什么场景必须用 Agent,什么场景用普通对话链就够。简单对话、单轮问答、固定流程的查询类应用,用 Chain 或直接调 API 反而更可靠。Agent 的核心价值在于——当任务的执行路径无法预先确定,需要模型根据中间结果动态决定下一步动作时,Agent 才真正发挥优势。典型的 Agent 场景包括:让模型自己去查资料并整理成报告、让模型操作数据库完成数
数据分析智能体的第一个决策是:给它哪些工具?我选择五个:数据加载(读取 CSV/Excel)、数据清洗(处理缺失值和类型转换)、统计分析(描述性统计、相关性)、图表生成(生成图表文件)、报告撰写(把结果组装成结构化报告)。每个工具按标准协议注册:名称、描述(供模型理解何时使用)、参数 schema(JSON Schema 定义入参)、执行函数。工程要点:工具描述要写得"像给同事的交接说明",因为模







