一文读懂RAG工作原理：11张图解透检索增强生成全流程

m0_48891301

703人浏览 · 2025-09-10 10:38:23

m0_48891301 · 2025-09-10 10:38:23 发布

RAG（Retrieval-Augmented Generation，检索增强生成）作为当下热门的AI技术框架，核心价值在于打破大型语言模型（LLM）依赖静态训练数据的局限，通过与外部知识源的动态联动，让模型既能保持强大的语言生成能力，又能实时获取最新、最精准的专业信息。

一、拆解RAG：三大核心环节的协同逻辑

要理解RAG的本质，需先明确其名称背后“检索-增强-生成”的闭环机制，这三个环节并非独立存在，而是层层递进、相互支撑的有机整体。

检索（Retrieval）：突破LLM的“知识盲区”
传统LLM的知识截止于训练数据的时间节点，且无法接入私有文档（如企业内部财报、行业研究报告）。而RAG的“检索”环节，会主动从向量数据库等外部知识库中，通过近似最近邻搜索（ANN）算法定位与用户问题语义相关的信息片段。例如用户询问“2024年新能源汽车销量数据”，检索模块能快速从更新后的行业数据库中抓取最新统计结果，而非依赖模型预训练时的旧数据。
增强（Augmented）：低成本扩展模型“认知边界”
检索到的知识并非直接呈现给用户，而是作为“补充素材”注入LLM的上下文窗口。这种动态增强方式，既避免了重新训练LLM所需的巨额算力成本（单次训练可能耗资数百万美元），又解决了LLM上下文窗口有限的问题——无需将海量知识一次性输入，只需针对性补充与当前问题相关的关键信息，让模型“轻装上阵”却能掌握专业内容。
生成（Generation）：从“碎片化知识”到“可信回答”
生成环节是RAG的最终输出端。LLM会结合用户的原始查询与检索到的知识片段，进行语义整合与语言组织，最终生成连贯、结构化的自然语言回答。更重要的是，优质的RAG系统会自动标注知识来源（如“数据来源于中国汽车工业协会2024年4月报告”），这不仅降低了LLM“编造信息”（即“幻觉”）的风险，也让回答的可信度与可追溯性大幅提升。

简单来说，RAG通过“主动找知识-动态补知识-可信用知识”的逻辑，将LLM从“封闭的知识容器”升级为“开放的知识处理器”，在实时性（接入新数据）、准确性（减少幻觉）与经济性（降低训练成本）之间找到了最佳平衡点。

二、RAG系统七步工作流：从知识储备到智能输出

完整的RAG系统运作可分为“知识预处理”与“用户查询响应”两大阶段，共包含七个核心步骤。下面这张图清晰展示了从外部知识到最终回答的全流程：

步骤1：知识分块（Chunking）——把“大知识”切成“可检索单元”

外部知识源（如PDF文档、Word报告、数据库表格）往往是完整的长文本，直接存入系统无法高效检索。因此第一步需将其切割为语义完整的小片段（Chunk），切割时需满足两个核心原则：

语义连贯性：避免将一个完整的逻辑单元（如一个表格、一个实验结论）拆分成多个块，例如“2023年Q4各产品营收占比表”需整体保留，不能跨表分割；
适配嵌入模型：多数嵌入模型对输入文本长度有限制（如512 tokens或1024 tokens），分块长度需在此范围内，避免超出模型处理能力。

常见的分块策略有五种，可根据知识类型灵活选择：

按固定长度分块（如每200字切一段）：适用于无明显结构的纯文本；
按段落分块：保留天然的语义边界，适用于散文、报告类文本；
按章节/标题分块：基于文档层级结构切割，适用于书籍、论文；
按表格/公式分块：单独提取表格、公式等结构化内容，避免与文本混淆；
智能语义分块：通过NLP模型识别语义断点（如“因此”“综上”等逻辑连接词），动态调整块长度，适配复杂文本。

步骤2：生成嵌入（Embedding）——给“文字”装个“数学身份证”

人类能通过文字理解语义，但机器无法直接“读懂”文本。嵌入环节的作用，就是通过预训练的上下文嵌入模型（如BERT、Sentence-BERT），将每个知识块转化为高维向量（通常是几百到几千维的数字数组）。

这些向量并非随机生成，而是精准捕捉了文本的深层语义特征——例如“抗过拟合技术”与“正则化方法”的向量会非常接近，“苹果（水果）”与“苹果（品牌）”的向量则会因上下文差异而明显区分。这种“语义-数学”的映射，让机器能通过计算向量相似度，判断两段文本的关联程度。

需要注意的是，RAG使用的是“上下文嵌入模型”，而非早期的“单词嵌入模型”（如Word2Vec、GloVe）。两者的核心区别在于：上下文嵌入会根据单词的使用场景动态生成向量——同样是“苹果”，在“我爱吃苹果”和“苹果发布新手机”中，生成的向量完全不同；而单词嵌入则为“苹果”固定一个向量，无法区分多义词的不同含义。

步骤3：向量存储（Vector Storage）——搭建“知识记忆库”

生成的知识块向量，会与原始文本、元数据（如文档名称、页码、更新时间）一起存入向量数据库（如Milvus、Pinecone、FAISS）。向量数据库并非简单的“存储容器”，其核心价值在于：

高效索引：通过HNSW（分层导航小世界）、IVF（倒排文件索引）等算法，为海量向量建立索引，确保后续检索能在毫秒级完成（即使数据库中有百万级、千万级向量）；
关联记忆：将分散的知识块通过向量语义关联起来，形成“语义记忆网络”——例如检索“新能源补贴政策”时，不仅能找到直接相关的文档，还能关联到“补贴退坡对销量的影响”等间接相关内容。

至此，RAG的“知识预处理阶段”完成。后续无论用户提出何种问题，系统都能从这个“记忆库”中快速调取相关知识，无需重复处理原始文档。

步骤4：用户查询嵌入（Query Embedding）——把“问题”变成“可计算的向量”

当用户提出问题（如“RAG如何处理多模态数据？”）时，系统会先用与知识块嵌入相同的模型，将问题转化为查询向量。这一步的关键是“统一语义空间”——只有让查询向量与知识块向量处于同一数学空间，后续的相似度计算才有意义。

例如用户问“多模态支持”，嵌入模型会捕捉“多模态”（文本、图像、表格等）、“支持”（处理、整合）的语义特征，生成与“OCR识别图像文本”“表格转结构化数据”等知识块向量高度相似的查询向量。

简单来说，这一步是“让机器理解用户想找什么”——通过向量将抽象的问题意图，转化为可与知识库中内容比对的数学对象。

步骤5：语义检索（Semantic Retrieval）——从“记忆库”中找“相关知识”

查询向量生成后，系统会在向量数据库中执行语义检索：通过近似最近邻算法（ANN）计算查询向量与所有知识块向量的相似度（常用余弦相似度、欧氏距离等指标），并召回相似度最高的Top-K个知识块（K值可根据需求调整，如K=5、K=10）。

为了进一步提升检索精度，多数RAG系统会采用“语义匹配+关键词匹配”的混合策略：例如用向量相似度捕捉“多模态处理”与“OCR技术”的语义关联，同时用BM25算法（传统信息检索常用）匹配“多模态”“OCR”等关键词，确保既不遗漏语义相关内容，也不忽略精准术语匹配的片段。

步骤6：重排序（Reranking）——给“候选知识”排个“优先级”

初步检索到的Top-K知识块，可能存在“语义相似但主题偏离”的问题。例如用户问“RAG的多模态处理”，检索结果中可能混入“LLM的多模态训练方法”的内容——两者都包含“多模态”，但主题并不完全匹配。

重排序环节就是解决这一问题：通过交叉编码器（Cross-Encoder） 对每个候选知识块与查询的关联性进行精细化评分。交叉编码器会同时输入查询与知识块文本，深度分析两者的交互逻辑（如“这段知识是否真的解答了用户问题”），而非仅依赖向量相似度。最终根据评分重新排序，将最契合问题的知识块排在最前面，过滤掉“看似相关实则无关”的噪声信息。

步骤7：增强生成（Augmented Generation）——整合知识，生成最终回答

这是RAG系统的“输出环节”：LLM会接收两个核心输入——用户的原始查询，以及重排序后的优质知识块。之后，LLM会通过注意力机制，将知识块中的关键信息（如“RAG通过OCR提取图像文本”“将表格转为Markdown格式保持结构”）与查询意图深度融合，最终生成连贯、专业的回答。

例如，针对“RAG如何处理多模态数据？”的问题，LLM可能生成：“RAG系统处理多模态数据时，会先通过OCR技术提取图像中的文本信息，对表格类数据则转为Markdown格式以保留结构化特征，再将这些处理后的多模态内容统一转化为向量存入数据库；当用户查询时，系统会检索相关多模态知识块，整合后生成回答，确保信息的完整性与准确性。”

这种基于检索知识的生成方式，既避免了LLM因“知识不足”而编造内容，又能让回答紧扣用户需求，兼具专业性与实用性。

三、如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】