上一篇博客中，介绍了大模型的幻觉是什么，以及为什么会产生幻觉，而且还介绍了可以减少模型出现幻觉的方法——RAG（Retrieval-Augmented Generation，检索增强生成）RAG的核心思想就是：让大模型在回答问题之前，先从外部知识库中检索信息，再基于这些信息生成更准确、更可控的回答。RAG 的核心价值，在于把“大模型的语言能力”和“外部知识库的事实能力”结合起来。它不是让模型死记硬

前言在某次使用Gemini查文献的时候，因为平时用它查的数量比较少，所以它给我回复的文献基本上都是真实的。但是某一次用Gemini让它查10篇某个研究方向的论文的时候，就开始产生幻觉， 它不仅凭空捏造了论文标题，甚至把研究内容也给编出来了——这就是业界所称的现象。一、什么是大模型的幻觉当模型输出的内容包含看似合理但实际上不存在、不可验证或明显错误的信息时，我们就说模型产生了“幻觉”。幻觉的表现形式

大模型通过分词（Tokenization）将文本转换为数字序列，再通过嵌入向量（Embedding）为每个词分配语义向量。其核心是注意力机制（Attention），能动态关注相关词以理解上下文关系。但受限于上下文窗口（Context Window）大小，模型只能处理有限长度的对话历史，超出的部分会被截断、摘要或滑动丢弃。对话时，模型将系统提示、历史对话和新问题组合处理，但并无长期记忆能力，仅依赖当