logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

娜样学AI(三十四|34):Prefill 为什么能并行——从因果掩码到 KV Cache 与 Prefix Cache

本文围绕大模型推理中的 Prefill、Decode、因果掩码(Causal Mask)、KV Cache 与 Prefix Cache 展开,重点解释自回归模型为什么能够在 Prefill 阶段并行计算,以及 Decode 为什么仍需逐 Token 生成。通过分析 Attention 机制,厘清因果掩码限制信息可见性而非计算顺序的原理,并对比 KV Cache 的序列内复用与 Prefix Ca

文章图片
#人工智能#python
娜样学AI(三十三|33):Context Engineering 不只是塞更多上下文——从检索后分流到 Agent 评估与长上下文部署

本文围绕 Agent 的Context Engineering展开,重点探讨 RAG 检索结果如何通过 Inject、Offload和 Delegate实现动态分流,避免上下文膨胀与证据丢失。同时,解析 LangGraph 的状态管理与执行编排机制,以及 LangSmith 如何通过 Trace、Dataset 和 Evaluator 定位 Agent 失败原因。Context Engineeri

文章图片
#python#深度学习#人工智能 +1
娜样学AI(三十二|32):医疗 Agent 的 Memory 不能只是聊天记录——从 SessionState 到 Redis 与患者长期记忆

本文围绕医疗 Agent 的 Memory 架构展开,深入分析 SessionState、Chat History、State 与长期记忆的职责边界,指出数据归档不等于具备跨会话记忆能力。探讨前端回传状态的可信性问题、HMAC 签名保护,以及 Context Builder 如何处理当前状态与历史记忆的重复和冲突。同时,梳理医疗事实的提取、证据校验、身份隔离与生命周期管理,明确 PostgreSQ

文章图片
#人工智能#redis#数据库
娜样学AI(十九|19):从 Prompt、Context、Harness、Loop 到 RAG 评估——把 Agent 系统边界真正拆清楚

本文围绕 Agent 系统的分层理解与 RAG 评估展开,重点梳理 Prompt、Context、Harness 和 Loop 四个层次各自解决的问题:Prompt 定义规则,Context 决定模型看到什么,Harness 提供能力与执行控制,Loop 负责多步行动与反馈。同时进一步明确 RAG 评估不能只看最终答案,而应拆分 Retrieval 与 Generation,结合 Context

文章图片
#python#深度学习
到底了