小白也能懂的大模型介绍(17):大模型为什么会“一本正经地胡说八道”?一文看懂幻觉的类型、成因与应对方法

🌸雨落在了我的手上:个人主页
🐟个人仓库:Gitee仓库
❄️个人专栏:<<JaveSe>> <<C语言>> <<C语言数据结构>> <<Java数据结构 >>
<<MySQL数据库基础 >> <<JavaEE初阶>> << 初识大模型>>
🔥🔥🔥人生格言:无人扶我青云志,我自踏雪至山巅
🎬 博主简介

目录
内容大纲:
本文系统解析了大模型“幻觉”现象,指出其本质为概率生成导致的虚假或错误信息,常见于事实性、忠实性与上下文不一致三类。成因涵盖模型本质、训练数据局限、解码策略及提示词诱导等。文中提出检索增强、优化提示词、自洽检查与外部工具验证等五种减缓策略,并强调人工核对的重要性。结论:大模型是强大助手,但需理性使用,不可盲信。
一、什么是幻觉:说得有模有样,却与事实不符
前面的章节我们多次提到,大模型生成内容靠的是概率预测。它很擅长写出通顺、流畅、像模像样的文字,但这并不意味着每一句话都是真的。
幻觉(Hallucination),指的是模型生成的内容看似合理,实际上却是错误、虚构或与事实不符的现象。人们常用“一本正经地胡说八道”来形容它。书中用一个例子说明:有人询问模型,能不能推荐三家北京评分很高的烤鸭店,并附上人均价格。模型很快给出了店名、地址和价格,格式完整、细节具体,看起来非常可靠。但仔细核查后会发现,其中两家店根本不存在,价格也是编出来的。

图1:语言流畅并不等于内容可靠,幻觉的危险正在于它看起来很像真的
需要说明的是,幻觉并不总是坏事。在创意写作、头脑风暴等需要发散思维的场景中,这种“想象力”恰恰是优点。但在医疗、法律、金融、代码生成等对事实准确性要求很高的领域,幻觉就可能是致命的缺陷。
二、常见的幻觉有哪三类
根据表现形式的不同,幻觉大致可以分为三类。

图2:事实性幻觉、忠实性幻觉与上下文不一致,三者的表现各不相同
第一类:事实性幻觉。模型编造不存在的书籍、论文、人物、事件或统计数据;或者对已知的事实给出错误描述。比如,有模型声称爱因斯坦获得过诺贝尔数学奖。实际上,诺贝尔奖并没有数学奖项,爱因斯坦获得的是物理学奖,表彰他对光电效应的研究。
第二类:忠实性幻觉。模型没有忠实地遵循用户的指令。比如,要求“总结这份文档”,它却添加了原文中根本没有的观点;要求“用一句话告诉我明天的天气”,它却从气压、湿度、风力一直写到穿衣建议,写了三百字。还有一种情况是遗漏了用户提出的关键条件。
第三类:上下文不一致。在同一段输出中,前后信息相互矛盾。比如前文提到“市场占有率为 10%”,后文却变成了“市场占有率为 50%”。这说明模型在长篇生成时,有时会“忘记”自己前面说过什么。
三、幻觉为什么会出现:六个主要成因
幻觉的出现,通常不是因为模型“故意撒谎”,而是多个因素共同作用的结果。书中归纳了以下六个主要成因。

图3:从模型的本质、训练过程、推理方式到提问方式,幻觉可能出现在多个环节
1. 概率预测的本质。语言模型并不会主动验证事实,它只是在生成“最可能出现的文字”。它的训练目标是让预测尽量接近真实文本的分布,追求的是概率上的“像不像”,而不是逻辑上的“真不真”。因此,即使生成的内容在统计上看起来合理,也可能是错误的。比如,模型可以生成一条格式完美的学术引用,作者、期刊、年份一应俱全,但这篇文献可能根本不存在。
2. 训练数据的局限。模型的知识来自训练数据,而训练数据本身可能存在问题。一是不完整:如果某个领域的知识很少被收录,模型就只能拼凑出一个看似合理的答案。二是知识会“冻结”:模型训练完成后,知识就固定下来,之后发生的事件,它要么不知道,要么只能靠猜测去补。三是数据有错误:训练数据来自互联网,难免包含大量错误信息、偏见、矛盾和虚构内容,模型也会把这些“杂音”一并学去。
3. 训练目标的“副作用”。模型在训练和评估中,往往更容易获得“给出答案”的奖励,而诚实地说“我不知道”不一定会得到同等的奖励。这就在无形中鼓励模型,即使不确定,也要给出一个看似合理的答案。
4. 上下文的限制。模型在推理时能同时处理的内容是有限的。书中提到,一些模型的上下文长度可以达到 128K Token。如果关键信息超出了窗口,或者被淹没在大量无关内容中,模型就缺乏必要的事实依据,容易自行“补充”内容。
5. 解码策略的影响。即使模型内部“知道”正确答案,生成文字的方式也可能导致幻觉。比如,采用较高的温度或 top-p、top-k 等随机采样方式时,结果的随机性增加,容易偏离事实;贪心解码虽然更稳定,但也可能陷入重复,或者停留在局部最优的答案上;束搜索(Beam Search)优化的是整句的概率,而不是事实的正确性,有时会选出流畅却错误的文本。所以,幻觉有时并不是模型“不知道”,而是采样过程引入了错误。
6. 提示词的诱导。输入的内容本身也可能引导模型产生幻觉。比如,问题里包含错误的前提,模型往往会顺着这个前提继续生成;少样本示例中如果含有错误事实,模型会模仿;角色扮演、故事创作等场景,会降低模型对事实的敏感度;而对话历史中一旦出现错误信息,模型可能被“带偏”,难以主动纠正。
四、如何减少幻觉:五种常用方法
目前还没有任何一种方法能够百分之百消除幻觉,但可以通过多种途径把它显著降低。书中介绍了以下几种常用思路。

图4:高质量数据、检索增强、优化提示词、自洽性检查、调用外部工具,通常需要组合使用
第一,使用高质量数据。从源头入手,让模型使用更干净、更结构化、经过事实核查的数据进行训练,减少它学到错误信息的机会。书中提到,几乎所有主流模型都会使用互联网档案 Common Crawl(https://commoncrawl.org/)作为原始数据源。它的原始数据质量参差不齐,因此经过谷歌进行极端严格清洗后的版本 C4(Colossal Clean Crawled Corpus)成为许多主流模型的重要“营养来源”,其介绍页面是 https://www.tensorflow.org/datasets/catalog/c4。
第二,检索增强生成(RAG)。这是目前对抗幻觉的主流架构。系统在收到问题后,先去外部知识库(如向量数据库、搜索引擎或企业文档库)检索相关信息,再把检索到的内容与原始问题一起交给模型。由于答案是“有据可查”的,幻觉可以得到大幅降低。这一技术在下一章会详细介绍。
第三,优化提示词。可以在提示词中加入明确的约束,比如“如果你不确定答案,请说‘我不知道’,不要编造信息”,或者“请只基于以下材料回答”。在问题中附上相关背景或参考资料,也能限定模型回答的范围。
第四,自洽性检查。模型先生成答案,然后再用另一个提示(或同一模型的另一个实例)要求它检查,找出可能不符合事实的部分,并进行修正。书中提到,有些问题正向求解很困难,但反向验证却很容易,这时可以让模型对结果进行反向检查,从而发现错误。
第五,让模型调用外部工具。与其让模型凭“记忆”回答,不如让它在需要时主动调用工具进行验证。比如,用计算器做数学计算,用代码解释器执行代码,用搜索引擎查询最新事实。这样,模型就不必依赖可能过时或不准确的记忆来回答数学题或时事问题。
五、用外部工具验证事实:一个例子
书中用一个例子说明了工具调用的价值。研究者分别询问 DeepSeek,某所高校医学部的教职人员有多少。第一次没有开启搜索,模型依赖训练时的记忆作答;第二次开启搜索后,模型结合最新的新闻报道给出了回答。两次得到的数字差异很大,而根据新闻来源判断,后者明显更加可靠。

图5:不开启搜索、开启搜索并核对原始新闻,三种做法的可靠性递增
这个例子提醒我们:涉及最新数据、具体数字或特定机构信息的问题,最好借助外部资料进行核对,而不要完全依赖模型的记忆。
六、使用时应该注意什么
1. 重要信息必须核对。涉及医疗、法律、财务、考试、学术引用的内容,一定要回到权威来源确认。尤其要警惕格式完整、细节具体的引用和数据,它们恰恰最容易是编造的。
2. 留意提问的前提。如果你的问题本身包含错误的前提,模型很可能顺着它往下编。提问前先确认自己的前提是否成立。
3. 长对话要定期检查。对话越长,前后矛盾的风险越高。发现模型自相矛盾时,应当及时指出,并要求它重新梳理。
4. 鼓励它说“不知道”。在提示词中明确允许模型承认不确定,往往能减少它随意编造的情况。
5. 不要把模型当作唯一来源。把它当作帮你整理思路、快速起草的助手,而把事实核对、最终判断和责任留给自己。
七、常见问题、误区与术语速查
Q1:幻觉能彻底消除吗?
目前还做不到。幻觉与模型生成文本的基本机制密切相关,只能通过数据、架构、提示词和工具等多种手段持续降低,而不能指望一劳永逸。
Q2:模型说“我不知道”,是不是就说明它不可靠?
恰恰相反。诚实承认不确定,通常是更值得信赖的表现。问题在于,许多模型在训练中并没有得到充分的鼓励去这样做。
Q3:为什么同一个问题,开启搜索后答案会变?
因为搜索引入了训练之后的最新信息,模型不再只依赖训练时的记忆。这正是减少幻觉的有效途径之一。
Q4:幻觉和“撒谎”有什么区别?
撒谎通常需要“知道真相却故意隐瞒”。而模型并没有这样的意图,它输出的是概率上最可能的文字,因此幻觉更多是一种机制上的错误,而不是有意的欺骗。
| 术语 | 一句话解释 |
|---|---|
| 幻觉(Hallucination) | 模型生成的内容看似合理,实际上却错误、虚构或与事实不符 |
| 事实性幻觉 | 编造不存在的人物、事件、数据,或对事实给出错误描述 |
| 忠实性幻觉 | 没有忠实地遵循用户指令,遗漏条件或添加原文没有的内容 |
| 上下文不一致 | 同一段输出中前后信息相互矛盾 |
| 训练数据 | 模型学习的文本材料,决定了它的知识范围和可能存在的偏差 |
| 知识冻结 | 模型训练完成后,其内部知识就固定下来,不会自动更新 |
| 解码策略 | 模型从概率分布中选择输出文字的方式,如贪心解码、随机采样、束搜索等 |
| Common Crawl | 一个公开的互联网网页档案,是许多大模型的原始数据来源之一 |
| C4 数据集 | 基于 Common Crawl 经过严格清洗后得到的高质量文本数据集 |
| 自洽性检查 | 让模型或另一个实例检查已生成的答案,找出并修正其中的错误 |
| 检索增强生成(RAG) | 先从外部知识库检索相关资料,再让模型依据资料生成回答 |
八、动手练习
练习一:制造并识别幻觉。向大模型询问一位你熟悉的人物的生平细节,或者让它推荐几本不太知名的书。仔细核对它的回答,找出其中的事实错误,并判断属于哪一类幻觉。
练习二:比较开启与关闭搜索的结果。选一个涉及最新数据的问题,分别在不开启搜索和开启搜索的情况下提问,对比两次回答,并找到可靠的原始来源进行核对。
练习三:改写一条提示词。把“帮我总结这篇文章”改写成包含约束的版本,例如“请只基于文中的内容总结三点,如果文中没有相关信息,请直接说明,不要补充”。比较两次结果的差别。
九、总结
回顾全文,幻觉是大模型“说得流畅却未必真实”的现象。它有事实性、忠实性和上下文不一致三种表现,成因涉及概率预测的本质、训练数据、训练目标、上下文长度、解码策略和提示词等多个方面。减少幻觉需要从数据、检索、提示词、自洽检查和外部工具等多个环节入手,并且始终保留人工核对的最后一道关口。
理解了幻觉,我们就能更理性地看待大模型的回答:它是一位知识面很广、表达能力很强的助手,但偶尔也会“记错”或“编造”。把它当作帮手,而不是权威,是与大模型相处的一条重要原则。
更多推荐

所有评论(0)