🌸雨落在了我的手上:个人主页

🐟个人仓库:Gitee仓库

❄️个人专栏:<<JaveSe>> <<C语言>> <<C语言数据结构>> <<Java数据结构 >>

<<MySQL数据库基础 >> <<JavaEE初阶>> << 初识大模型>>

🔥🔥🔥人生格言:无人扶我青云志,我自踏雪至山巅

🎬 博主简介

目录

一、什么是幻觉:说得有模有样,却与事实不符

二、常见的幻觉有哪三类

三、幻觉为什么会出现:六个主要成因

四、如何减少幻觉:五种常用方法

五、用外部工具验证事实:一个例子

六、使用时应该注意什么

七、常见问题、误区与术语速查

八、动手练习

九、总结


内容大纲:

本文系统解析了大模型“幻觉”现象,指出其本质为概率生成导致的虚假或错误信息,常见于事实性、忠实性与上下文不一致三类。成因涵盖模型本质、训练数据局限、解码策略及提示词诱导等。文中提出检索增强、优化提示词、自洽检查与外部工具验证等五种减缓策略,并强调人工核对的重要性。结论:大模型是强大助手,但需理性使用,不可盲信。


一、什么是幻觉:说得有模有样,却与事实不符

前面的章节我们多次提到,大模型生成内容靠的是概率预测。它很擅长写出通顺、流畅、像模像样的文字,但这并不意味着每一句话都是真的。

幻觉(Hallucination),指的是模型生成的内容看似合理,实际上却是错误、虚构或与事实不符的现象。人们常用“一本正经地胡说八道”来形容它。书中用一个例子说明:有人询问模型,能不能推荐三家北京评分很高的烤鸭店,并附上人均价格。模型很快给出了店名、地址和价格,格式完整、细节具体,看起来非常可靠。但仔细核查后会发现,其中两家店根本不存在,价格也是编出来的。

图1:语言流畅并不等于内容可靠,幻觉的危险正在于它看起来很像真的

需要说明的是,幻觉并不总是坏事。在创意写作、头脑风暴等需要发散思维的场景中,这种“想象力”恰恰是优点。但在医疗、法律、金融、代码生成等对事实准确性要求很高的领域,幻觉就可能是致命的缺陷。

二、常见的幻觉有哪三类

根据表现形式的不同,幻觉大致可以分为三类。

图2:事实性幻觉、忠实性幻觉与上下文不一致,三者的表现各不相同

第一类:事实性幻觉。模型编造不存在的书籍、论文、人物、事件或统计数据;或者对已知的事实给出错误描述。比如,有模型声称爱因斯坦获得过诺贝尔数学奖。实际上,诺贝尔奖并没有数学奖项,爱因斯坦获得的是物理学奖,表彰他对光电效应的研究。

第二类:忠实性幻觉。模型没有忠实地遵循用户的指令。比如,要求“总结这份文档”,它却添加了原文中根本没有的观点;要求“用一句话告诉我明天的天气”,它却从气压、湿度、风力一直写到穿衣建议,写了三百字。还有一种情况是遗漏了用户提出的关键条件。

第三类:上下文不一致。在同一段输出中,前后信息相互矛盾。比如前文提到“市场占有率为 10%”,后文却变成了“市场占有率为 50%”。这说明模型在长篇生成时,有时会“忘记”自己前面说过什么。

三、幻觉为什么会出现:六个主要成因

幻觉的出现,通常不是因为模型“故意撒谎”,而是多个因素共同作用的结果。书中归纳了以下六个主要成因。

图3:从模型的本质、训练过程、推理方式到提问方式,幻觉可能出现在多个环节

1. 概率预测的本质。语言模型并不会主动验证事实,它只是在生成“最可能出现的文字”。它的训练目标是让预测尽量接近真实文本的分布,追求的是概率上的“像不像”,而不是逻辑上的“真不真”。因此,即使生成的内容在统计上看起来合理,也可能是错误的。比如,模型可以生成一条格式完美的学术引用,作者、期刊、年份一应俱全,但这篇文献可能根本不存在。

2. 训练数据的局限。模型的知识来自训练数据,而训练数据本身可能存在问题。一是不完整:如果某个领域的知识很少被收录,模型就只能拼凑出一个看似合理的答案。二是知识会“冻结”:模型训练完成后,知识就固定下来,之后发生的事件,它要么不知道,要么只能靠猜测去补。三是数据有错误:训练数据来自互联网,难免包含大量错误信息、偏见、矛盾和虚构内容,模型也会把这些“杂音”一并学去。

3. 训练目标的“副作用”。模型在训练和评估中,往往更容易获得“给出答案”的奖励,而诚实地说“我不知道”不一定会得到同等的奖励。这就在无形中鼓励模型,即使不确定,也要给出一个看似合理的答案。

4. 上下文的限制。模型在推理时能同时处理的内容是有限的。书中提到,一些模型的上下文长度可以达到 128K Token。如果关键信息超出了窗口,或者被淹没在大量无关内容中,模型就缺乏必要的事实依据,容易自行“补充”内容。

5. 解码策略的影响。即使模型内部“知道”正确答案,生成文字的方式也可能导致幻觉。比如,采用较高的温度或 top-p、top-k 等随机采样方式时,结果的随机性增加,容易偏离事实;贪心解码虽然更稳定,但也可能陷入重复,或者停留在局部最优的答案上;束搜索(Beam Search)优化的是整句的概率,而不是事实的正确性,有时会选出流畅却错误的文本。所以,幻觉有时并不是模型“不知道”,而是采样过程引入了错误。

6. 提示词的诱导。输入的内容本身也可能引导模型产生幻觉。比如,问题里包含错误的前提,模型往往会顺着这个前提继续生成;少样本示例中如果含有错误事实,模型会模仿;角色扮演、故事创作等场景,会降低模型对事实的敏感度;而对话历史中一旦出现错误信息,模型可能被“带偏”,难以主动纠正。

四、如何减少幻觉:五种常用方法

目前还没有任何一种方法能够百分之百消除幻觉,但可以通过多种途径把它显著降低。书中介绍了以下几种常用思路。

图4:高质量数据、检索增强、优化提示词、自洽性检查、调用外部工具,通常需要组合使用

第一,使用高质量数据。从源头入手,让模型使用更干净、更结构化、经过事实核查的数据进行训练,减少它学到错误信息的机会。书中提到,几乎所有主流模型都会使用互联网档案 Common Crawl(https://commoncrawl.org/)作为原始数据源。它的原始数据质量参差不齐,因此经过谷歌进行极端严格清洗后的版本 C4(Colossal Clean Crawled Corpus)成为许多主流模型的重要“营养来源”,其介绍页面是 https://www.tensorflow.org/datasets/catalog/c4。

第二,检索增强生成(RAG)。这是目前对抗幻觉的主流架构。系统在收到问题后,先去外部知识库(如向量数据库、搜索引擎或企业文档库)检索相关信息,再把检索到的内容与原始问题一起交给模型。由于答案是“有据可查”的,幻觉可以得到大幅降低。这一技术在下一章会详细介绍。

第三,优化提示词。可以在提示词中加入明确的约束,比如“如果你不确定答案,请说‘我不知道’,不要编造信息”,或者“请只基于以下材料回答”。在问题中附上相关背景或参考资料,也能限定模型回答的范围。

第四,自洽性检查。模型先生成答案,然后再用另一个提示(或同一模型的另一个实例)要求它检查,找出可能不符合事实的部分,并进行修正。书中提到,有些问题正向求解很困难,但反向验证却很容易,这时可以让模型对结果进行反向检查,从而发现错误。

第五,让模型调用外部工具。与其让模型凭“记忆”回答,不如让它在需要时主动调用工具进行验证。比如,用计算器做数学计算,用代码解释器执行代码,用搜索引擎查询最新事实。这样,模型就不必依赖可能过时或不准确的记忆来回答数学题或时事问题。

五、用外部工具验证事实:一个例子

书中用一个例子说明了工具调用的价值。研究者分别询问 DeepSeek,某所高校医学部的教职人员有多少。第一次没有开启搜索,模型依赖训练时的记忆作答;第二次开启搜索后,模型结合最新的新闻报道给出了回答。两次得到的数字差异很大,而根据新闻来源判断,后者明显更加可靠。

图5:不开启搜索、开启搜索并核对原始新闻,三种做法的可靠性递增

这个例子提醒我们:涉及最新数据、具体数字或特定机构信息的问题,最好借助外部资料进行核对,而不要完全依赖模型的记忆。

六、使用时应该注意什么

1. 重要信息必须核对。涉及医疗、法律、财务、考试、学术引用的内容,一定要回到权威来源确认。尤其要警惕格式完整、细节具体的引用和数据,它们恰恰最容易是编造的。

2. 留意提问的前提。如果你的问题本身包含错误的前提,模型很可能顺着它往下编。提问前先确认自己的前提是否成立。

3. 长对话要定期检查。对话越长,前后矛盾的风险越高。发现模型自相矛盾时,应当及时指出,并要求它重新梳理。

4. 鼓励它说“不知道”。在提示词中明确允许模型承认不确定,往往能减少它随意编造的情况。

5. 不要把模型当作唯一来源。把它当作帮你整理思路、快速起草的助手,而把事实核对、最终判断和责任留给自己。

七、常见问题、误区与术语速查

Q1:幻觉能彻底消除吗?

目前还做不到。幻觉与模型生成文本的基本机制密切相关,只能通过数据、架构、提示词和工具等多种手段持续降低,而不能指望一劳永逸。

Q2:模型说“我不知道”,是不是就说明它不可靠?

恰恰相反。诚实承认不确定,通常是更值得信赖的表现。问题在于,许多模型在训练中并没有得到充分的鼓励去这样做。

Q3:为什么同一个问题,开启搜索后答案会变?

因为搜索引入了训练之后的最新信息,模型不再只依赖训练时的记忆。这正是减少幻觉的有效途径之一。

Q4:幻觉和“撒谎”有什么区别?

撒谎通常需要“知道真相却故意隐瞒”。而模型并没有这样的意图,它输出的是概率上最可能的文字,因此幻觉更多是一种机制上的错误,而不是有意的欺骗。

术语一句话解释
幻觉(Hallucination)模型生成的内容看似合理,实际上却错误、虚构或与事实不符
事实性幻觉编造不存在的人物、事件、数据,或对事实给出错误描述
忠实性幻觉没有忠实地遵循用户指令,遗漏条件或添加原文没有的内容
上下文不一致同一段输出中前后信息相互矛盾
训练数据模型学习的文本材料,决定了它的知识范围和可能存在的偏差
知识冻结模型训练完成后,其内部知识就固定下来,不会自动更新
解码策略模型从概率分布中选择输出文字的方式,如贪心解码、随机采样、束搜索等
Common Crawl一个公开的互联网网页档案,是许多大模型的原始数据来源之一
C4 数据集基于 Common Crawl 经过严格清洗后得到的高质量文本数据集
自洽性检查让模型或另一个实例检查已生成的答案,找出并修正其中的错误
检索增强生成(RAG)先从外部知识库检索相关资料,再让模型依据资料生成回答

八、动手练习

练习一:制造并识别幻觉。向大模型询问一位你熟悉的人物的生平细节,或者让它推荐几本不太知名的书。仔细核对它的回答,找出其中的事实错误,并判断属于哪一类幻觉。

练习二:比较开启与关闭搜索的结果。选一个涉及最新数据的问题,分别在不开启搜索和开启搜索的情况下提问,对比两次回答,并找到可靠的原始来源进行核对。

练习三:改写一条提示词。把“帮我总结这篇文章”改写成包含约束的版本,例如“请只基于文中的内容总结三点,如果文中没有相关信息,请直接说明,不要补充”。比较两次结果的差别。

九、总结

回顾全文,幻觉是大模型“说得流畅却未必真实”的现象。它有事实性、忠实性和上下文不一致三种表现,成因涉及概率预测的本质、训练数据、训练目标、上下文长度、解码策略和提示词等多个方面。减少幻觉需要从数据、检索、提示词、自洽检查和外部工具等多个环节入手,并且始终保留人工核对的最后一道关口。

理解了幻觉,我们就能更理性地看待大模型的回答:它是一位知识面很广、表达能力很强的助手,但偶尔也会“记错”或“编造”。把它当作帮手,而不是权威,是与大模型相处的一条重要原则。

Logo

更多推荐