文章强调RAG系统核心在于业务而非技术，不同业务场景对RAG有不同要求。作者以咨询类场景为例，选择markdown作为统一文档处理载体，因其对人和模型都友好。文档处理需根据业务需求去除噪音数据，选择合适的数据结构化形式，而非过度优化技术流程。正确的业务理解是提高RAG系统效果的关键，避免本末倒置。

---

“ 在RAG系统中，业务比技术更重要；好的业务和设计能大大减少你的工作量，并提升召回率。”

在刚开始做RAG的时候，认为RAG很简单；虽然说文档处理是一个难点，但那也是没办法的事，毕竟这玩意在业界就是一个难点；但随着这段时间做RAG的数据处理和优化才发现事情远远没有自己想的那么简单。

虽然说复杂文档处理是一个难点，但那并不是你做不好RAG的理由；原因就在于你根本没有弄明白，怎么才能做好一个RAG系统；你所认为的RAG就是简单的把文档处理拆分一下，然后向量化入库就算完成了一个RAG系统。

但RAG真的有那么简单吗？

怎么做好一个RAG系统？

再次强调一句话——做RAG需要弄明白两件事，一是RAG到底是什么，二怎么才能做好一个RAG系统？

先问自己一个问题，你真的了解RAG吗？

只要在网上看过几篇关于RAG的文章，很多人对RAG都会有一个基本的认识；但是，你真的让他做一个RAG系统出来，你会发现到处都是问题，表面上看着系统是做出来了，但是召回率一塌糊涂，做是做出来了，但是不能用。

原因就在于你没有真正理解什么是RAG，以及应该怎么做一个可以用的RAG系统。

首先，理解RAG有两个层面，一个是技术面，一个是业务面；网上关于RAG技术的介绍已经有很多了，这里就不再详细赘述，总之就是RAG的核心就在于文档处理和数据召回两个方面，以及最后丢给大模型的文档质量。

下面我们从两个角度深入讨论一下，怎么做好一个RAG系统；可能很多人都会认为，RAG的核心在于技术，事实上RAG的核心不在技术面，而在业务面，因为业务决定了你RAG的应用场景，而技术只是具体实现的一种方式。

为什么说RAG的核心在于业务？

因为不同的业务系统对RAG的要求是不一样的，这里的不一样包括很多方法；比如说文档的类型，格式，处理规范会不一样；其次，宽泛的文章写作和严格的医疗，法律对RAG的要求也不一样。

以作者现在做的日常咨询类场景为例，我们对RAG的召回率要求在百分之90以上；文档的主要形式是word，pdf，excel和数据库数据。

由于系统要求的是以自然语言对话的方式，来提升部门的办事效率；因此，对所有文档都需要进行向量化处理，这样才能更好的进行自然语言对话，毕竟对用户来说，他们并不是专业人员，很多术语和名词，他们也不知道是啥意思；所以，基于自然语言对话，让大模型去理解用户的意图，然后用相似度匹配的方式召回相关内容是一个很好的选择。

所以，面对这样的业务场景和多种不同的文档格式，我们需要一个统一的载体对文档进行处理；毕竟，word和excel是完全不同的两种数据格式；而我们表格和图片类数据又不多。

因此，我们选择的是markdown格式作为我们的主要载体，原因就在于word，excel，包括数据库数据都可以处理成markdown格式；而且markdown和xml，html这种结构化的数据格式相对比较干净和简单；完全非结构化的数据格式，如txt由于没有标题，段落等，不利于理解和处理。

而且，其也不像json等支持的数据有限，如图片在json中表示只能使用图片地址或base64，但这对模型来说根本没有任何意义。当然，如果说你的文档充满大量复杂布局的内容，如图片位置，多栏布局等，那么markdown就不是一个好的选择了。

总之，之所以选择markdown的原因就在于其对人类比较友好，对模型也比较友好；最重要的是其适合我们的业务场景。

其次，从技术层面来说，把不同格式的数据转换成markdown形式，也比较好处理；word，pdf等可以直接转换成markdown格式；而excel，也可以通过解析的方式拼接成markdown。

再有，对文档数据的处理，很多人在做RAG时，文档处理就是把文档一股脑的丢到向量库中；但事实上，很多文档充斥着大量的噪音和无用数据，这些数据完全可以给删掉，而不会对我们的业务产生任何影响，或者说唯一的影响就是好的影响。

在文档处理中，我们首先要删除掉噪音数据，其次还要对完整的数据做出选择；比如说，某些场景下时间是很重要的数据，但某些场景下时间是无用数据；总之，在不同的业务和场景中，选择合适的数据，比你累死累活的优化文档处理流程更重要；毕竟如果从源头上就错了，那么后续做的再多再好又有什么用。

再有，之所以选择markdown做载体，原因就是因为其简单的结构化格式；不同的数据和场景要求，使用不同的结构化形式，能够大大提升召回率，；比如说使用标签对数据进行分级等，而不是你累死累活的想办法去优化召回策略。

总之，想做好一个RAG系统你技术是一方面，更重要的是你的业务和要求；千万不要搞反了。

如何学习AI大模型 ？

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓

CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】

读者福利： 👉👉CSDN大礼包：《最新AI大模型学习资源包》免费分享 👈👈

（👆👆👆安全链接，放心点击）

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

👉1.大模型入门学习思维导图👈

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

对于从来没有接触过AI大模型的同学，我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。（全套教程文末领取哈）

👉2.AGI大模型配套视频👈

很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，每个章节都是当前板块的精华浓缩。

👉3.大模型实际应用报告合集👈

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。（全套教程文末领取哈）

👉4.大模型实战项目&项目源码👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战项目来学习。（全套教程文末领取哈）

👉5.大模型经典学习电子书👈

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。（全套教程文末领取哈）

👉6.大模型面试题&答案👈

截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道，我总结了大模型常考的面试题。（全套教程文末领取哈）

为什么分享这些资料?

只要你是真心想学AI大模型，我这份资料就可以无偿分享给你学习，我国在这方面的相关人才比较紧缺，大模型行业确实也需要更多的有志之士加入进来，我也真心希望帮助大家学好这门技术，如果日后有什么学习上的问题，欢迎找我交流，有技术上面的问题，我是很愿意去帮助大家的！

这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】

读者福利： 👉👉CSDN大礼包：《最新AI大模型学习资源包》免费分享 👈👈

（👆👆👆安全链接，放心点击）