logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

vLLM 推理服务性能调优实战:从 PagedAttention 到生产参数

传统推理中,KV Cache 需要为每个请求预分配连续显存,按最大可能长度预留,导致大量显存浪费在"用不上的位置"。PagedAttention 把 KV Cache 切成固定大小的块(类似操作系统的分页内存),按需分配、不连续存放。效果是显存碎片率大幅下降、利用率显著提升,同样的显存能装下更多并发请求。。传统批处理要等一个 batch 全部生成完才处理下一个,GPU 在生成后期大量空转。连续批处

#人工智能#后端#运维
Agent Harness 范式解读:决定 Agent 成败的不是模型,而是包裹模型的那套系统

Agent Harness 的定义极其简洁:Agent 是模型与 Harness 的组合。Harness 是所有不属于模型本身的代码、配置和执行逻辑。一个裸模型不是 Agent,但当 Harness 给它提供状态、工具执行、反馈循环和可执行约束之后,它就变成了一个 Agent。用计算机类比理解会更清晰。模型是 CPU,提供原始处理能力;上下文窗口是内存,是有限且易失的工作记忆;Agent Harn

#人工智能#后端
AI Agent 开发框架与工程实践:从 ReAct 循环到生产级智能体

但真实业务很少是一次问答能搞定的——“帮我查一下上个月华东区的销售数据,画成图表,写一段分析结论,发到群里”——这需要理解意图、调用多个工具、按顺序执行、汇总结果。Agent(智能体)的本质,就是把"模型 + 工具 + 循环"组合起来:模型负责推理决策,工具负责执行动作,循环负责反复"思考—行动—观察"直到任务完成。LangChain 提供组件库,LangGraph 在其上提供状态图编排——把 A

#机器学习
3.10 MovieLens推荐算法实战:用Python实现完整的推荐系统

本文介绍了基于MovieLens数据集的Python推荐系统实现。首先展示了如何加载和预处理评分数据,构建用户-物品矩阵。然后详细实现了ItemCF推荐算法,包括计算物品相似度和生成推荐结果。文章还提供了模型评估方法,计算准确率、召回率和F1分数,并给出优化建议如相似度优化和推荐多样性提升。整个实现过程包含完整代码示例,从数据准备到推荐生成,为构建个性化推荐系统提供了实用指导。

#python#推荐算法#机器学习 +2
3.5 推荐系统评价指标详解:准确率、召回率、F1、NDCG,如何选择

分类指标:准确率、召回率、F1排序指标业务指标选择原则:根据业务需求选择。

#python#开发语言#机器学习 +3
Agent 架构深度解析:从 ReAct 循环到上下文管理的工程实现

AI Agent 是当前大模型应用领域最受关注的方向,但同时也是概念最混乱的方向。市面上讨论 Agent 的文章,一半在畅想"数字员工替代人类",另一半在教 Prompt 话术,真正把 Agent 的技术架构讲清楚的内容少之又少。这篇文章站在工程师视角,把 Agent 的核心架构拆开:它的工作循环是什么、为什么有效、工具怎么设计、上下文怎么管理、记忆系统怎么搭,以及一个完整的 Agent 系统由哪

#自然语言处理
LangChain 实战:从六大核心组件到 AI Agent 的完整工程落地

几乎每一个从"裸调 API"走向"复杂应用"的开发者,都会在某个时刻遇到 LangChain。它可能是你最熟悉的框架,也可能让你又爱又恨——抽象多、版本迭代快、报错看不懂。但无论如何,LangChain 对 AI 应用开发的价值是真实的:它把大模型应用从"手工拼胶水代码"推进到了"组件化组装"的阶段。这篇文章从工程视角拆解 LangChain,讲清楚它解决什么问题、六大组件怎么用、Agent 怎么

#人工智能
5.3 Axum 中间件实战:认证、日志、限流,构建企业级中间件栈

本文介绍了如何在Axum框架中构建企业级中间件栈,处理日志、认证、限流等横切关注点。主要内容包括:1) 使用tower-http快速搭建基础中间件栈,包括TraceLayer日志记录和CorsLayer跨域处理;2) 利用from_fn创建简单的认证中间件,演示了如何在中间件中使用提取器验证Bearer Token。文章强调了中间件在请求处理链中的执行顺序,并展示了如何通过tower生态系统构建灵

#rust#开发语言#后端
AI Agent 智能体开发:从 ReAct 原理到 LangChain 工程落地

在做智能体开发之前,有必要先把问题定义清楚:什么场景必须用 Agent,什么场景用普通对话链就够。简单对话、单轮问答、固定流程的查询类应用,用 Chain 或直接调 API 反而更可靠。Agent 的核心价值在于——当任务的执行路径无法预先确定,需要模型根据中间结果动态决定下一步动作时,Agent 才真正发挥优势。典型的 Agent 场景包括:让模型自己去查资料并整理成报告、让模型操作数据库完成数

#人工智能#react.js
AI Agent 工程化实践:从想法验证到数据分析智能体的完整搭建手册

数据分析智能体的第一个决策是:给它哪些工具?我选择五个:数据加载(读取 CSV/Excel)、数据清洗(处理缺失值和类型转换)、统计分析(描述性统计、相关性)、图表生成(生成图表文件)、报告撰写(把结果组装成结构化报告)。每个工具按标准协议注册:名称、描述(供模型理解何时使用)、参数 schema(JSON Schema 定义入参)、执行函数。工程要点:工具描述要写得"像给同事的交接说明",因为模

#人工智能#数据分析#windows
    共 1020 条
  • 1
  • 2
  • 3
  • 102
  • 请选择