先说结论：大模型会一本正经地编数据，不是偶发故障，而是它的生成方式和训练评分方式共同决定的。它按上下文逐个预测下一个词元，挑的是看起来最像的那个，而不是去数据库里查事实。所以在任何要对外发布的场景里，模型输出的数字、引语和链接都必须逐条核对。

大模型到底是什么

AWS的说明里，大模型也叫基础模型，先用海量数据做一次大规模预训练，再通过微调或提示适配到问答、翻译、摘要、写代码等很多任务上。所谓大，指参数规模庞大、训练数据海量。日常说的大模型多数指大语言模型，Google Cloud的定义是基于大量数据训练的统计语言模型，通常采用Transformer架构。

按处理的内容大致分三类：大语言模型输入输出都是文字；多模态大模型能同时理解文字、图片、音频、视频；图像和视频生成模型吃提示词和参考图，出图片或视频片段。

生成机制：一次只预测一个词元

词元是模型处理文字的最小单位，可以是一个字、一个词的一部分或一个标点。Google机器学习速成课的解释是，给出前半句，模型给每个候选词算一个概率，再选最高的，或者从概率够高的几个里随机抽一个。由此能推出三个工程上常见的现象：

1. 同一个问题回答会变：采样有随机性，多生成几版再挑是正常用法。
2. 上下文越清楚，结果越准：背景、受众、示例都会改变概率分布，这就是提示词起作用的原因。
3. 流畅不等于正确：模型优化的是像不像，不是对不对。

幻觉从哪来：预训练和后训练两段

OpenAI和佐治亚理工学院的研究者在2025年9月发表的论文《Why Language Models Hallucinate》把原因拆成两段。

预训练阶段，训练数据里只零星出现过的事实，比如某个人的生日，模型本来就很难学准，即使数据本身没错，也会生成一部分错误内容。

后训练阶段，多数主流测评按答对得分、答错和回答不知道都不得分来打分。没把握时猜一个反而更划算，于是猜答案的倾向被保留下来。

论文也提到，接入搜索或检索增强生成可以减少幻觉，但搜不到可靠答案时模型照样会猜。换句话说，加了RAG也不能省掉人工核对。Google Cloud对AI幻觉的描述里还特别提到，模型甚至会编造指向从未存在过的网页的链接。

工程上怎么降低风险

我们在内容生产里按信息类型分别核：

• 数字和参数：回到产品手册或官方页面逐个对，找不到出处就删。
• 价格和活动日期：以官网当天显示为准，并写明核对日期。
• 引语和案例：只用有署名、能打开原文的引语。
• 链接：发布前逐个点开，确认内容和引用一致。
• 产品功能：对照官方更新说明，防止把未上线功能写成已有。

提示词里可以要求模型把没把握的地方标成待核实，不要自己补数字。这不能消除幻觉，但能让审核的人更快定位要查的地方。

大模型、AIGC和智能体的边界

三者是三层：大模型是底座，AIGC是它生成的内容，智能体是以大模型为核心、再加上规划、记忆和工具去把任务做完的系统。大模型只会回答，智能体会动手。在法规层面，《人工智能生成合成内容标识办法》第十条要求发布AI生成合成内容时主动声明并使用平台的标识功能。

国内的生成式AI服务以网信办备案信息为准。网信办2026年9月14日公告显示，截至2026年8月31日累计1112款生成式人工智能服务完成备案，731款应用或功能完成登记。选型时可以先看产品页有没有公示模型名称和备案号。本文由引擎AI整理。