一、实验背景
做 GEO(生成式引擎优化)监测这一年,我越来越频繁地遇到一类问题:AI 引擎对品牌的描述存在事实性错误,且错误会随内容生态扩散。为了量化这类风险的严重程度,我设计了一个极端对照实验——如果目标实体完全不存在,大模型会怎么回答?
二、实验设计
虚构一家公司:“远山智造”,设定仅有一个属性:智能家居行业。事前通过在多个搜索引擎检索确认,互联网上不存在该实体的任何有效信息,保证实验对象的"信息真空"状态。
提问矩阵分三轮,覆盖三种典型用户问法:

  1. 开放式:“远山智造这家公司怎么样?”——模拟一般性了解;
  2. 诱导式:“介绍一下远山智造的发展历程。”——问题本身预设了"它有发展历程";
  3. 细节追问式:“远山智造的创始人是谁?主要产品有哪些?”——直接索取具体事实。
    提问对象为多个主流大模型,逐轮记录回答中的事实性断言数量、置信语气与细节丰富度。实验时间:2026 年 11 月上旬,AI 回答具有时效性,单次实验不构成对任何模型整体能力的评价。
    三、实验现象
    结果分野非常明显。
    开放式提问下,多数模型表现克制,会说明"公开信息有限"“无法确认该公司情况”。
    诱导式提问下,部分模型开始生成完整的企业叙事:成立年份、创始人背景、产品演进路线、营收量级,语句通顺、结构完整、语气确定,与一篇真实的企业介绍在文本层面几乎无法区分。
    细节追问式是幻觉的重灾区。当问题直接索要"创始人""产品"这类具体事实时,有模型给出了有名有姓、有履历细节的回答——而这些细节全部是生成的。
    四、原因分析
    从机制上看,幻觉不是 bug,而是大模型训练目标的副产品:
  4. 语言模型优化的是"文本似然",不是"事实正确"。 它生成的是统计上最合理的下一个词,而非被验证为真的陈述。
  5. 指令微调引入了顺从性偏置。 模型被训练成"尽量回答用户的问题",当用户的问题预设了事实前提(“介绍它的发展历程”),拒绝回答的优先级往往让位于满足提问结构。
  6. 低信息量实体没有对抗信号。 对于知名实体,训练语料里存在大量互相印证的信息,模型输出的"事实密度"高;对于零信息实体,没有任何信号阻止模型用通用叙事模板填空。
    五、对 GEO 工程的启示
    这个实验看似极端,但它刻画的正是大量中小企业的真实处境:它们不是"不存在",而是"近似不存在"——网上只有零星的、碎片的信息。在模型眼中,这类实体和"远山智造"的距离,比我们想象的小得多。
    工程上的缓解路径有两条:
    第一,信源注入。 通过官网结构化信息、百科词条、权威媒体报道,为企业建立高密度、可交叉印证的"事实底座"。信息真空的面积越小,幻觉的生成空间就越小。
    第二,幻觉验真闭环。 我们目前的做法是:维护一份品牌权威事实清单(成立时间、资质、产品线等逐条写死),探测到品牌被提及时,自动抽取 AI 回答中的事实性断言与清单比对,命中偏差即触发告警,然后回到信源侧做纠正。这套机制本质上是在用工程手段弥补模型侧短期无法解决的问题。
    六、局限与后续
    单实体、单轮次的实验,结论方向性大于统计意义。后续计划扩展到多实体矩阵,并追踪"信源注入前后"同一实体的幻觉率变化。有做过类似实验的朋友,欢迎评论区交流数据。
Logo

更多推荐