logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

用大模型造数据:self-instruct 合成训练与评测样本

做微调、做评测集、做难例挖掘,第一步永远是"数据从哪来"。真实标注贵、慢、且难以规模化;而很多场景(比如特定领域的指令数据、边缘 case 评测题)根本没人标过。于是"用已有强模型合成数据"成了工程上绕不开的一环:成本低、可批量、还能按需求定向生成。self-instruct 的核心是用"少量种子"撬动"大量指令":先准备十几个到几十个示范任务,让 LLM 据此不断生成新的指令和对应样本;再去重、

#人工智能
用大模型给反馈做语义聚类

把一簇反馈喂给模型,让它总结“这类人在抱怨什么、可能的原因是什么”。模型擅长归纳,人只做确认,效率立刻上来。反馈的价值不在“收集”,在“归并后的优先级”。Embedding + 聚类 + 模型归纳,是把噪声变成行动清单的最短路径。配套资料:这一章讲到的实操要点,我整理成了可运行的示例与对照表,放在资料包里,扫码即可获取。

#聚类#机器学习#支持向量机
大模型推理服务的过载治理:队列限流、保活与冷启动

大模型推理和普通的 Web API 有一个本质区别:它的"单请求成本"高得离谱。一个 7B 模型的权重加载要占掉整块 GPU 显存,一次前向要把 KV Cache 撑满,生成又是一个 token 一个 token 地串行吐。换句话说,推理服务的吞吐不是靠"加机器"线性堆出来的,而是被显存、算力和批处理能力三重卡着脖子。所以当流量一上来,常见现象不是"变慢一点",而是雪崩式恶化:排队请求越堆越多,显

#数据库#网络
让大模型教小模型:应用侧蒸馏的工序与验收

2026 年中,团队想做蒸馏的动机高度一致:一个通用大模型在某条窄任务上表现够用,但调用量涨上来之后,延迟和单位成本都变得难看,于是想"把它压成一个小模型"。方向没错,错在把它当成一次训练任务。它其实是一条工序:切判断单元、造样本、选学生、训练、验收、上线、盯失效。任何一段省掉,后面都要用双倍时间补。跳过验收直接上线的团队,通常会在第三周发现"一致率九十多,业务侧错误率没降"。一个判断单元等于:固

#kotlin#开发语言#android
Agent 进了群聊:谁能 @ 它、它读不读历史消息

把 Agent 从单聊搬进群聊,很多人以为只是多带一个 。真正的差别在语义:单聊里那个隐含假设——“屏幕对面只有一个人,他在跟你说话”——在群里全部失效。先给结论:群聊不是"多人共用的对话框",它是一个并发、无边界、半公开的消息流。第一条最容易低估。"这个再跑一遍"在单聊里不会歧义,在群里可能是上一条告警、十分钟前别人贴的报错,也可能是文件里那张表。模型没有可靠依据在三种可能里选对。第二条更隐蔽:

#AI Agent
用量一夜翻十倍:AI 服务的滥用识别与止损顺序

本篇只谈调用方的滥用识别与止血,不谈配额怎么分配,也不谈供应商侧额度怎么谈。2025 年 11 月的一个周二,九点二十,值班群弹出一条预警:某个企业主体的日用量在六小时内跑完了过去一个月的量。接手的人停掉该主体的 key,四十分钟后商务回话,对方正在上线客服机器人,量是真的,客户已经打电话来问。问题不在停用,在顺序:还没分清哪一种暴涨,就选了影响面最大的动作。三种暴涨的第一动作完全不同:总量上三者

#人工智能
让 Agent 打电话:接通前后各要处理什么

2026 年中我们接过一个需求:把内部那个能答问题的对话 Agent 接上电话,替业务同事做首次触达。团队的第一反应是"语音合成接一个拨号器就行",一周就出了 Demo,然后在灰度第三天全部回滚。问题不在模型,在于我们下意识把电话当成了"语音版对话框",而两者的失败模型完全不同。对话框里,用户看得见历史、看得见按钮、可以重发。电话里这些都没有:对方只有你的声音,任何一次沉默超过三四秒就会被理解成"

#人工智能#AI Agent
同一能力多个入口:答案不一致怎么治

收到「网页端和 App 答得不一样」这类反馈时,最不该做的一件事就是直奔提示词去改。先做的是把入口清单写下来。一个能力铺到多个入口,落点通常是这几处:网页对话页、移动 App、对外开放 API、IM 群里的机器人、客服工作台。它们看起来是同一个能力,背后却是四五套独立的技术栈、四五拨不同的维护人。清单至少要写四列:入口、技术栈、状态形态、维护人。少了「状态形态」这一列,第五章和第六章的问题根本无从

指令层级:把不可信内容挡在权限之外

2026 年中,带工具的 Agent 从演示走向生产流程,安全讨论的重心也跟着从"模型会不会说错话"移到"模型会不会做错事"。这个位移的根源,是读入与执行被接在了同一条通道上。聊天机器人的输出是文本。模型读到一段内容,最多改变它下一句话的措辞,读到的东西不会直接变成一次接口调用、一次文件写入、一次对外发送。破坏面止步于内容层。Agent 不一样。它挂着一组工具,每个工具背后是一次真实的外部动作:查

Sandbox(沙箱)到底是什么?

现在我们可以回到最开始的问题:Sandbox 是不是一个虚拟环境?不准确。Sandbox 可以借助虚拟环境实现,但它本身不是某一种虚拟化技术。Sandbox 是一个受控的代码执行边界。它通过限制程序可以访问的文件、进程、网络、系统调用和其他资源,把程序可能造成的影响控制在预定范围以内。Sandbox 不是为了规定程序在哪里运行,而是为了规定程序最多能做什么。这也是我认为理解 Sandbox 最关键

#人工智能#AI
    共 647 条
  • 1
  • 2
  • 3
  • 65
  • 请选择