
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
用户在前端问了个长问题,看了两眼划走了,或者手滑关了页面。你以为请求没了,其实后端推理进程还在一字一顿地往外吐。GPU 在空转,钱在白白烧,并发一高还挤占别人的配额。这个浪费在长生成场景里尤其明显。流式接口本质是服务端往一个长连接里持续推数据。前端关掉页面,TCP 连接可能半开,或者反向代理没把「对端已走」的信号转给推理循环。推理代码通常是一个「生成到结束」的循环,它只在自己跑完或报错时才停,根本
第一阶段接一个系统、只给读 scope,跑两周。看三个数:拒绝率、任务平均时长、续期次数分布。拒绝率突然抬高多半是 scope 配窄了;续期出现长尾,说明有任务卡在某个重试里出不来。第二阶段开一个写动作,要求它可逆——创建草稿而不是直接发布,加备注而不是改状态。准出条件写死:写操作的审计里sub与act齐全,且两者相同的记录数为零。第三阶段按租户灰度。每开一批跑一遍 7.2 的四个用例,全过再开下
一个 Agent 跑起来,系统里有两份状态。第一份是上下文:消息、工具调用记录、trace,坏了能重放重建。第二份是磁盘上那块可写空间:附件、解压结果、中间格式、最终报告。第二份不能重放,丢了就是丢了。多数团队把第一份当基础设施做,把第二份当副作用:随手建个目录,跑完不管。两周后开始出事——磁盘告警、任务互相覆盖、续跑找不到中间件、清理脚本删错文件。判断一个文件属于哪类,只用一条判据:能不能从上游
经典的 ReAct 范式是 Thought—Action—Observation 的循环:模型先想,再调工具,再看结果,跑完就把最终答案交出去。它在大多数任务上够用,但有个隐藏问题——第一步想歪了,后面全跟着歪。在代码生成、数据分析这类任务里尤其明显。模型第一次产出的东西可能带着低级错误:变量没定义、接口名拼错、字段对不上。这些错它自己「写的时候」发现不了,但让它「站在评审者视角再扫一遍」,往往一
很多同学第一次把大模型接进业务管线,都会在下游解析那一步踩坑。日志里常见的报错是或者 ,意思很直白:模型吐出来的根本不是一段合法 JSON。根因通常是三件事叠在一起:这些都不是偶发。temperature 大于 0 时采样本身就有随机性,长文本又更容易触发截断,所以「先生成再正则清洗」本质上是个补丁——它能救一部分,但救不了全部,而且每次重试都在烧 token、加延迟。约束解码(constrain
面试官问"AI 在你的项目里到底起了多大作用",通常不是想听你自夸,也不是要你认怂。他真正想确认三件事:第一,你有没有分清楚"AI 做的"和"传统代码做的";第二,你用的 AI 是不是真有价值、还是为了蹭热度;第三,你能否用证据而不是形容词来支撑说法。很多候选人翻车,是因为要么把整个系统都算成"AI 的功劳",要么因为心虚把 AI 的价值全抹掉,两种都让面试官没法判断你的真实贡献。回答的第一步,是
早期 Agent 跑工具往往是"模型说调哪个就调哪个,一个接一个"。工具少、链路短时没问题;当任务需要"查天气、查股价、查日历、再综合写摘要"这类多步操作时,串行等待会拖垮整体延迟,用户明显感到卡。更麻烦的是依赖关系:B 的输入来自 A 的输出,必须串行;但 C 和 D 彼此无关,完全可以同时跑。如果全串行,就是在白白浪费并发能力。判断依赖最简单的办法是画一张有向图:节点是工具调用,边表示"谁的输
最早落地一个智能体,往往是直接调大模型对话接口,自己拼 prompt、管上下文、接工具调用。业务真要跑起来时,还得补上知识库、对话界面、调用日志、权限和评测——这些事情和"调模型"本身无关,却吃掉大量工作量。Dify、CrewAI、AutoGen 这类平台,本质是把"搭智能体"中重复的工程件抽象出来:可视化编排、知识库接入、对话界面、运行日志。代价也很直接——用灵活度换"开箱即用"。选平台前,先想
大模型在推理时,把"任务说明 + 若干示例 + 待预测样本"拼成一段上下文喂进去,就能在不更新任何参数的情况下完成新任务。这种能力叫上下文学习(In-Context Learning, ICL),最早在 GPT-3 论文中被系统展示(Brown et al., 2020)。它和微调、检索增强都不一样:模型权重一点没动,只靠你给的那几行例子"现学现卖"。ICL 不是一个被完全解释透的机制。工程上更实
做微调、做评测集、做难例挖掘,第一步永远是"数据从哪来"。真实标注贵、慢、且难以规模化;而很多场景(比如特定领域的指令数据、边缘 case 评测题)根本没人标过。于是"用已有强模型合成数据"成了工程上绕不开的一环:成本低、可批量、还能按需求定向生成。self-instruct 的核心是用"少量种子"撬动"大量指令":先准备十几个到几十个示范任务,让 LLM 据此不断生成新的指令和对应样本;再去重、







