本文将带您走进一个聚焦RAG技术的开源项目——它以深入浅出的方式实现了20余种RAG技术，且全部基于Python基础库开发，无需依赖复杂框架。无论您是刚入门AI的新手，还是经验丰富的开发者，都能通过这个项目深化对RAG技术的理解，甚至获得可直接复用的实战思路。

一、RAG技术是什么？

检索增强生成（RAG）是一种融合信息检索与语言生成的技术。简单来说，它的核心逻辑是：在让语言模型生成回答前，先从外部知识库“搜”出相关信息，再把这些信息作为“参考资料”喂给模型，让生成的回答更准确、更有事实依据。

和传统预训练语言模型比，RAG系统最大的优势是“活学活用”——能动态获取最新知识，不用重新训练模型就能更新“知识库”。这让它在需要实时信息（如新闻问答）或专业领域知识（如医疗、法律咨询）的场景中格外好用。

二、入门级RAG技术：打好基础

1. 简单RAG（Simple RAG）

简单RAG是RAG技术的“入门款”，也是理解其核心逻辑的最佳起点。它的流程就像“找资料→写答案”的简化版：

• 把文档拆成小片段（类似把一本书切成一页页的）
• 给每个片段生成“数字指纹”（嵌入向量），方便后续查找
• 把这些“指纹”存到专门的“向量数据库”里（相当于建一个带索引的档案库）
• 用户提问时，从数据库里找出和问题最像的片段
• 把找到的片段和问题一起交给大模型，让模型结合片段写回答

虽然简单，但它搭起了RAG的基本框架——后续所有复杂技术，都是在这个基础上“添砖加瓦”。

2. 语义分块（Semantic Chunking）

传统分块要么按固定长度（比如每500字一段），要么按标点（比如按句号分割），很可能把一个完整的意思“劈成两半”（比如把“小明喜欢吃苹果，因为它很甜”拆成“小明喜欢吃苹果”和“因为它很甜”）。

语义分块则是“按意思分组”——把语义相关的内容放一起。比如一段讲“光合作用原理”的文字，不管多长，都会被整合成一个块。这样检索时，模型拿到的是完整的“知识点”，回答自然更准。

3. 块大小选择器（Chunk Size Selector）

块的大小是RAG系统的“关键参数”：块太小，可能漏了重要背景；块太大，又可能混入太多无关信息（比如查“李白的诗”，结果混入了大量唐朝历史的冗余内容）。

块大小选择器的作用，就是通过实验找到“最合适的尺寸”。比如处理短文本（如微博内容），可能200字的块就够了；处理长文档（如学术论文），可能需要500-1000字的块才能装下完整的论点。

三、让上下文更“有用”：文本处理技巧

4. 上下文丰富RAG（Context Enriched RAG）

传统RAG只挑“最像”的一个片段，但有时候光看一个片段会“断章取义”。比如文档里讲“人工智能发展”，其中一段讲“2020年突破”，上下文可能还有“2019年铺垫”和“2021年影响”——这些相邻内容能让理解更完整。

上下文丰富RAG会同时抓取目标片段的“左邻右舍”，提供更全面的背景，避免因信息不全导致的误解。

5. 上下文块头（Contextual Chunk Headers）

给每个文档块加个“小标题”，就能帮模型更快抓住重点。比如一个讲“机器学习算法”的块，块头可以是“监督学习vs无监督学习的区别”。

这些标题相当于给片段“贴标签”，检索时模型能通过标题快速匹配问题，减少“找错资料”的概率。

6. 文档增强RAG（Document Augmentation RAG）

它不直接用文档内容检索，而是先让模型从文本里“出题”。比如一段讲“地球自转”的文字，会被生成“地球自转一圈需要多久？”“地球自转方向是啥？”等问题，再用这些问题辅助检索。

这种方式相当于从“原文描述”和“潜在问题”两个角度给文档“做索引”，面对复杂提问（比如“地球自转对昼夜交替有啥影响？”）时，更容易找到相关内容。

四、让查询更“聪明”：优化提问方式

7. 查询转换（Query Transform）

有时候用户的问题太模糊或太复杂，直接检索效果不好。查询转换就是“把问题变个样”，让它更容易被系统理解：

• 回溯提示（Step-back Prompting）：把具体问题变宽泛，比如用户问“2024年奥运会在哪办”，先查“2024年奥运会的举办地确定过程”，获取更多背景
• 子查询分解（Sub-query Decomposition）：把复杂问题拆成小问题，比如“人工智能对医疗和教育的影响”拆成“人工智能对医疗的影响”和“人工智能对教育的影响”，分别检索后再汇总

通过“换个问法”，系统能更精准地抓住用户的真实需求。

8. 重排序器（Reranker）

初始检索通常靠“向量相似度”（比如问题和文档的“数字指纹”像不像），但有时候“像”不代表“相关”。比如“苹果多少钱一斤”和“苹果手机最新款价格”，向量可能很像，但内容完全不同。

重排序器就像“二审法官”——用大模型重新评估初始结果，从语义上判断是否真的相关，再给结果排个新顺序，让最相关的内容排在前面。

9. 相关段提取（RSE - Relevant Segment Extraction）

传统分块可能把一个连续的故事拆成多个片段，比如一段讲“灰姑娘故事”的文字，被拆成“灰姑娘得到水晶鞋”“灰姑娘参加舞会”“灰姑娘和王子相遇”。

相关段提取会把这些分散的片段重新“拼”起来，还原成完整的“故事线”，让模型拿到连贯的上下文，避免回答时出现“跳脱”的情况。

五、进阶RAG技术：让系统更智能

10. 上下文压缩（Contextual Compression）

检索到的内容里可能有很多废话，比如一段讲“气候变化”的文档，可能混入了大量重复的“温室气体”定义。上下文压缩会像“提炼摘要”一样，过滤掉无关信息，只保留核心内容。

这样喂给模型的“参考资料”更精炼，模型生成的回答也会更简洁、更聚焦。

11. 反馈循环RAG（Feedback Loop RAG）

它能“记住”用户的反馈，不断改进。比如用户说“这个回答错了，正确信息是XXX”，系统会把这个反馈记下来，下次遇到类似问题时，调整检索策略（比如优先找包含“XXX”的文档）。

相当于给系统加了个“错题本”，用得越久，回答越准。

12. 自适应RAG（Adaptive RAG）

不同问题需要不同的检索方式：事实性问题（如“故宫建成于哪年”）需要精准匹配；解释性问题（如“为什么故宫要建在北京”）需要更多背景信息；复杂问题（如“故宫的建筑风格对后世有哪些影响”）可能需要分步骤检索。

自适应RAG会先“分析问题类型”，再自动选最合适的检索策略，就像“对症下药”。

13. 自我RAG（Self RAG）

它像个“自主决策的助手”：会自己判断“要不要检索”（比如简单问题“1+1等于几”不用检索，直接回答）；检索后会评估“结果够不够用”（如果找到的信息太少，会重新检索）；甚至会判断“这些信息能不能支持回答”（如果信息矛盾，会提示“存在争议”）。

这种自主性让它能更灵活地处理各种复杂场景。

六、多模态与混合技术：打破单一文本限制

14. 命题分块（Proposition Chunking）

把文档拆成“最小事实单元”，比如“猫是哺乳动物”“猫会抓老鼠”——每个命题都是一个独立、可验证的事实。

检索时，系统能精准匹配“单个事实”，比如用户问“猫属于什么纲”，直接定位到“猫是哺乳动物”这个命题，避免被无关内容干扰。

15. 多模态RAG（Multimodal RAG）

不止处理文字，还能“看懂”图片。它会用专门的模型（如LLaVA）给图片生成描述（比如给一张“故宫角楼”的图配文“故宫角楼，具有典型的明清建筑风格，共三层”），再把文字描述和文本信息一起检索。

这样面对“这张图里的建筑叫什么”这类问题时，也能给出答案。

16. 融合RAG（Fusion RAG）

结合两种检索方式的优点：向量检索擅长“找意思相近的内容”（比如“狗的习性”能找到“犬类的生活习惯”）；关键词检索（如BM25）擅长“找精确匹配的内容”（比如“狗”不会匹配“猫”）。

融合后，既能抓语义关联，又能保证精确性，检索结果更全面。

七、知识组织与大数据：应对海量信息

17. 图RAG（Graph RAG）

把知识做成“关系网”，比如“爱因斯坦”连接“相对论”“诺贝尔奖”“普林斯顿大学”，“相对论”又连接“光速”“时空弯曲”。

检索时，系统不仅能找到直接相关的信息，还能顺着关系网“挖”出更多关联内容（比如查“爱因斯坦”时，不仅能找到他的理论，还能找到他的工作经历）。

18. 层次RAG（Hierarchy RAG）

给文档建“金字塔式索引”：顶层是全文摘要，中层是章节概述，底层是具体段落。

查大文档时，先看顶层摘要判断是否相关，再逐层深入到具体内容，就像“先看目录，再翻正文”，效率更高。

19. HyDE RAG

不直接用问题检索，而是先让模型“编一个假设的答案”，再用这个“假答案”去检索。比如用户问“量子计算机的原理”，模型先生成一段“假设的原理描述”，再用这段描述找真实文档。

这种方式能更好地匹配“问题背后的真实需求”，尤其适合模糊或抽象的问题。

20. CRAG（Corrective RAG）

会“自我纠错”：如果检索到的信息不够或不准，会自动触发网络搜索补充。比如用户问“2024年最新的AI模型”，如果知识库信息停留在2023年，它会去网上搜2024年的新模型，确保回答时效性。

21. 强化学习RAG（RAG with RL）

用“奖励机制”优化系统：如果回答被用户点赞，就给系统“加分”；如果被投诉，就“扣分”。系统会通过强化学习不断调整策略，争取更高“分数”，就像“通过考试反馈改进学习方法”。

22. 最佳RAG查找器（Best RAG Finder）

相当于“技术搭配师”：会测试不同RAG技术的组合（比如“简单RAG+重排序器”“查询转换+融合RAG”），找到最适合当前问题的组合。

比如简单问题用“简单RAG”最快，复杂问题用“查询转换+图RAG”更准，大大提升效率。

23. 知识图大数据处理（Big Data with Knowledge Graphs）

用知识图管理海量数据，即使是TB级别的文档（比如全网学术论文），也能快速检索。它能自动识别实体和关系，把零散信息织成“知识网”，支持复杂查询（比如“找出所有和人工智能相关的医学研究，且作者来自中国”）。

通过这个开源项目，无论是想入门RAG的新手，还是想深耕技术的开发者，都能找到适合自己的学习路径和实践方案——毕竟，用最基础的Python库实现20多种技术，本身就是最好的“实战教材”。

那么，如何系统的去学习大模型LLM？

作为一名从业五年的资深大模型算法工程师，我经常会收到一些评论和私信，我是小白，学习大模型该从哪里入手呢？我自学没有方向怎么办？这个地方我不会啊。如果你也有类似的经历，一定要继续看下去！这些问题啊，也不是三言两语啊就能讲明白的。

所以我综合了大模型的所有知识点，给大家带来一套全网最全最细的大模型零基础教程。在做这套教程之前呢，我就曾放空大脑，以一个大模型小白的角度去重新解析它，采用基础知识和实战项目相结合的教学方式，历时3个月，终于完成了这样的课程，让你真正体会到什么是每一秒都在疯狂输出知识点。

由于篇幅有限，⚡️ 朋友们如果有需要全套 《2025全新制作的大模型全套资料》，扫码获取~

为什么要学习大模型？

我国在A大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年，人才缺口已超百万，凸显培养不足。随着AI技术飞速发展，预计到2025年,这一缺口将急剧扩大至400万,严重制约我国AI产业的创新步伐。加强人才培养,优化教育体系,国际合作并进是破解困局、推动AI发展的关键。

👉大模型学习指南+路线汇总👈

我们这套大模型资料呢，会从基础篇、进阶篇和项目实战篇等三大方面来讲解。

👉①.基础篇👈

基础篇里面包括了Python快速入门、AI开发环境搭建及提示词工程，带你学习大模型核心原理、prompt使用技巧、Transformer架构和预训练、SFT、RLHF等一些基础概念，用最易懂的方式带你入门大模型。

👉②.进阶篇👈

接下来是进阶篇，你将掌握RAG、Agent、Langchain、大模型微调和私有化部署，学习如何构建外挂知识库并和自己的企业相结合，学习如何使用langchain框架提高开发效率和代码质量、学习如何选择合适的基座模型并进行数据集的收集预处理以及具体的模型微调等等。

👉③.实战篇👈

实战篇会手把手带着大家练习企业级的落地项目（已脱敏），比如RAG医疗问答系统、Agent智能电商客服系统、数字人项目实战、教育行业智能助教等等，从而帮助大家更好的应对大模型时代的挑战。

👉④.福利篇👈

最后呢，会给大家一个小福利，课程视频中的所有素材，有搭建AI开发环境资料包，还有学习计划表，几十上百G素材、电子书和课件等等，只要你能想到的素材，我这里几乎都有。我已经全部上传到CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

相信我，这套大模型系统教程将会是全网最齐全 最易懂的小白专用课！！