AI 可见度诊断怎么做成可审计:探针落库,数字不许凭空补
摘要:大模型评测最容易烂在「分数是模型自己说的」。可见度诊断把每一次问答写成一行探针,报告只做计数。没配密钥就跳过并记失败,不用模拟回答把图填满。
演示环境里最省事的做法,是检测不到 API Key 就返回一段写死的 JSON:提及率 62%,前三占位 28%。图能看,数是假的。客户拿着这张图去做季度复盘时,你无法指出哪一次提问支撑了 62%。
数能GEO里,诊断的失败策略是:大模型调用失败直接跳过,写进报告的失败列表。页面上看到的每个比率,都从探针表 COUNT 出来。
探针是审计单元,报告是派生视图
一次诊断先落一张报告,状态为进行中,立刻把接口返回给浏览器。真正的提问放在响应之后的后台任务里跑。前端按 已完成探针数 / 计划探针数 轮询。用户关掉页面,库里的行还在。
每一行探针至少留下这些字段:
- 大模型
- 问句原文、意图(发现 / 认知 / 对比)
- 回答原文,或错误信息
- 是否提及、排名
- 来源 URL、是否走了联网
- 耗时、token
- 认知与情感(仅认知轨,未判定就保持未判定)
聚合时只取「没有错误、且有回答」的发现类探针。计划了 40 问、成功 31 问,提及率的分母是 31。失败的 9 问出现在模型失败说明里,不参与分子分母。
监测写趋势时再强调一次:不要从报告摘要 JSON 里抄数字。报告结构会改版,趋势要跨所有历史期可比,所以每一期都从探针行重算。跨引擎合计用一个保留键 * 写进同一张指标表,和分引擎序列放在一起,唯一键是「项目 + 统计日 + 引擎 + 主体」。
模型 ID 必须精确命中
诊断勾选的是「豆包、文心、通义、DeepSeek、Kimi、元宝」这类平台。真正发出去的请求还要落到一个模型 ID。
网关的 /models 列表里没有这个 ID,就标记该模型不可用。
某个模型厂商的兼容接口即使触发了搜索、却不返回来源列表,报告要标明「搜索已发生但没有来源」,而不是当成没联网。这两种状态对内容优化的含义完全不同:前者该去查引用了谁,后者是这次根本看不到引用。
认知轨的「不知道」不能填成中立
发现类的提及与排名可以用规则:在回答里找品牌别名,看它出现在推荐列表的第几位。认知和情感更主观,需要另一轮评审模型阅读回答,判断「认不认识」「正 / 中 / 负」。
模型没配置时,字段保持「未判定」。用中性情感把空值填上,情感指数会恒定在一个好看的中间值,客户会以为口碑稳定。空着,至少能说明这期没测情感。
小结
可审计的诊断只有一条原则:原始回答先落库,指标是查询结果。模型不可用就记失败;评审模型不可用就记未判定;型号对不上就不要换一个来凑。图可以晚一点画,假数不能先填上。
下一篇写监测:题目不冻结时,这条可审计的曲线仍然会骗人。

更多推荐



所有评论(0)