「大模型有幻觉，但这个功能不能有幻觉」——4 道 AI 场景题，答不上来的都在背概念

AI 岗面试有个特点：问的不难，难的是**问的全是"书上没有、但你得干过"**的问题。

下面 4 道题，全都长着一副「不像面试题」的脸。

---

一、Agent 调用失败了，你怎么兜底？

别说「加重试」。 这题的结构是分层兜底，答一层就少一档分。

调用层——先问一句：这个动作有没有副作用？

• 只读操作：重试 2~3 次，放心试；
• 有写操作（下单、扣款、发短信）：决不能盲目重试。先查状态，必须重试的要做幂等。

这是送分点也是送命点。答「失败重试三次」的人，线上会造出重复扣款。

推理层——模型返回的 json 解析失败、字段缺失、字段值不对，不是同一类问题。可以重试，但重试要加更严的约束（schema 校验、few-shot、必要时换更强的模型）。裸重试十次，只会拿到十次同样错的格式。

模型层——超时阈值按业务调，不是拍个 30 秒；整个任务要有总预算（token + 时间），别让一个子任务耗光额度；要能换小模型、换缓存、返半成品。

消费层——最后一层不是技术，是产品：兜底话术怎么写、什么时候转人工、转人工后用户看到什么。这决定了故障时用户是「觉得慢」还是「觉得崩」。

追问预警：「幂等怎么做？」——业务唯一键 + 状态机前置校验 + 去重表。别只答「加个 requestId」。

---

二、大模型有幻觉，但业务方说这个功能不能有幻觉，你怎么回应？

千万别答「我们会持续优化模型」。 业务方要的不是承诺，是风险边界。

第一步：先算「答错了代价是什么」，把模糊焦虑变成三档——要赔钱担责的（金融/医疗/法务）、用户不满意的（客服/导购/生成）、没人发现的（内部工具）。代价不同，方案完全不同。

第二步：坦率承认「零幻觉基本不存在」，然后立刻接一句：但可以让错误在出门前被拦住。

手段	做法	成本
约束生成	结构化输出、限定字段、模板化，禁止自由发挥	最低，全场景适用
检索接地	答案必须有检索片段，结论必须有引用	知识问答必做
置信度回答	另一模型判、或同题采样三次看一致性	中
人工审核	涉金额/合规/医疗一律人审	最高，只给最贵的一档

第三步：证明幻觉降低了。 业务方一定会问「你怎么证明」——所以要有一份对比集：同一批问题，AI 答一遍、人工答一遍，按错误类型统计。没这个数，「幻觉降低了」只是你的感觉。

追问预警：「甲方就不接受拒答怎么办？」——把「不确定」做成产品能力：给候选答案 + 置信度 + 一键转人工，而不是硬编一个答案。

---

插一句：剩下 21 题，我整理成笔记了

上面 2 道是从 25 道题里挑的。剩下 21 道（含完整拆解、追问话术、踩坑记录）塞不进一篇文章，都整理成笔记了：

笔记就长这样，25 题全在里面。 想要整份的，扫码加我，备注「笔记」👇

不用关注、不用转发，加上直接发你。

---

三、如果没有向量数据库，还能做 RAG 吗？

能。这题的陷阱就是让你以为不能。

最常见的错误认知：RAG = 向量数据库。看骨架五步就明白了——切块、检索、重排、组装、生成，只有前两步依赖向量库，而且这两步完全可以换：

• BM25 + 倒排索引：ES、PGSQL、MySQL 全文索引都能干；
• 关键词 + 规则：垂直领域里，专业术语的精确匹配常常比向量更准；
• 混合检索：BM25 召回 + 向量召回，再统一重排——这才是生产常态，纯向量反而是少数。

加分回答：向量库解决的不是「能不能检索」，是「百万级以上的语义检索性能 + 运维」。小规模场景，PG 加个向量扩展就够。

---

四、模型在训练集上表现很好，上线后一塌糊涂，你先怀疑什么？

先怀疑训练集，不是先怀疑模型。 排查顺序本身就是答案：

1. 先查环境——提示词版本、检索配置（top_k / embedding 模型）、采样参数、模型版本，线上和训练时是否逐项一致。这条能解释大部分「上线就崩」，而且排查成本最低。

2. 查数据泄露——训练集里混进了测试问题的答案（离线指标虚高）；或者特征里带了未来信息。

3. 查分布偏移（根因高频区）——表述偏移：训练集是标准问法，线上是口语、错别字、多轮指代；长尾偏移：训练集堆在头部意图，线上长尾占大头。

点睛：这三步的顺序不能反。先查环境是因为它最便宜，先改模型是因为它最贵——而多数人的第一反应恰恰是先改模型。

---

最后

这 4 题有个共同的答法：先问副作用和代价，再谈技术手段。 面试官听的是你有没有在真实系统里被咬过。