文章探讨了RAG技术的发展与局限,传统RAG因分块导致知识联系被切断,而GraphRAG虽能解决此问题却因成本高、技术复杂、需求不足而难以普及。作者指出RAG系统搭建容易但调试困难,建议在资料积累后转向知识提炼,通过AI辅助完成从信息到知识的跃迁,而非单纯依赖信息检索。


我已经很久很久没折腾RAG了。

其实我的账号最初就是靠RAG、个人知识库的内容收获了第一批流量、第一批社群成员。但是后来我逐渐不再关注这个技术和相关产品。两个原因。

第一,技术局限性。

一年前,当我看倒GraphRAG的时候,眼前一亮,因为它解决了传统RAG的严重不足。

传统RAG的基础是分块。这会切断知识之间的内在联系,造成上下文孤立。举个例子,有三个分块。A提到了张三,B提到了李四,C提到了张三和李四是同事。传统RAG必须检索到C才能知道张三和李四的关系。

你可以试一下,把一部小说用传统RAG进行处理,然后问一些人物方面的问题,你就会很明显地发现这种技术上的局限性。

所以,我的知识库都是单条笔记,并且在创建笔记和编辑笔记的时候,尽量做到一个段落就表达一个意思,不要有太多的上下文关联、交叉。这都是为了规避传统RAG的局限。

而GraphRAG不一样。它通过知识图谱,能够把实体和关系连接起来,理论上可以完美解决传统RAG的问题。但是我等了一年,GranphRAG也没能普及。我判断大概有这三个原因。

一是成本太高。

把非结构化的文本转化为高质量的知识图谱,本身就是一个复杂的NLP任务,它涉及到实体识别、关系抽取等。这个过程计算成本很高,而且准确率不太稳定,还需要大量的人工校验。

相比之下,传统RAG把文档切块,然后生成向量,就便宜得多。

二是技术栈太复杂,实施难度高。

GraphRAG这套东西的实施,对开发团队要求太高了。传统RAG相对比较容易。

三是需求不足。

大部分的企业和个人知识库场景,都是简单的问答、文档查询。这种需求大概占了80%,用传统RAG就搞定了。这种情况下如果还要投入去搞GraphRAG,就有点不划算了。

于是,对我来说,RAG似乎就停在了一年多以前的那个位置。今天那些技术,在我早期还在写脚本、手搓RAG的阶段都用过了,比如Hybrid Search、Re-ranking、Multi-Query,都是在给这个技术打补丁。就那样了。

第二,能用容易,好用难。

今天,无论是企业还是个人,想搭建一套能用的RAG系统,门槛其实很低了。

如果有动手能力的话,开源的框架很成熟了,比如LangChain和LlamaIndex,它们已经把RAG的各个步骤都封装成了标准化的模块。你只需要像搭积木一样调用几个函数,一个基础版的RAG原型就能跑起来。

如果不想折腾,也有很多现成的工具可以使用。

但是,这只是能用的程度。如果是要把这套系统调试到好用级别的话,还有很多工作要做,有很多难关要过。

比如,你的文档应该如何切块?用多大的尺寸?要不要保留重叠?用什么嵌入模型?这些都会严重影响检索结果。而且,它们没有标准答案,需要大量实验。

说实话,调到后边,你甚至会感觉有点玄学了。

另外,要有更好的效果,肯定要用上那些高级技术,比如刚才提到的Hybrid Search等等。这就要求你对整个系统有更深的理解,绝对不是调用几个API那么简单。

最后,系统搭建好之后,你该怎么评估呢?以及各种调试之后,到底是变好还是变差?这些都涉及到评估标准的建立,这个也是一件非常头大的事情。

当我深入了解RAG之后,我有一种很强的无力感。如果真要达到我自己满意的程度,要投入大量心血,会耽误我去做很多别的事情。

所以,今年以来,一方面,我改用现成的大型工具。比如之前介绍过的Cursor。它连那么复杂的代码关系都能搞定,处理我的笔记更是小菜一碟了。而且Cursor还自带编辑功能和联网搜索功能,我如果要写点东西的话,用它就很舒服了。

另一方面,比起信息检索,我现在更多是在做知识提炼。

比如我之前分享过,我把上百篇视频脚本、加起来有7.5万字的内容都喂给Gemini,让它帮我提炼我的个人IP内核。

Gemini 2.5 Pro的上下文长度足够大,推理能力足够强,所以非常适合做知识提炼。过去半年,我大量采用这种方法,收获是很大的。

所以我会建议大家,当你的笔记或者各种资料积累到一定程度,一定要停下来,开始做提炼。

第一,人的大脑不是硬盘。无休止地收集只会加重认知负担。

第二,只收藏不提炼,你拥有的只是停留在第一层的信息。

自我提炼的过程,就是强迫自己去思考、去连接、去创造,完成从信息到知识的跃迁。

让AI提炼的过程,就是让AI帮忙发现盲区,发现更多可能的连接。

这个就是我这半年来做得最多的事,非常有用,真心推荐给大家。

如何学习AI大模型 ?

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓

CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN,朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】

读者福利: 👉👉CSDN大礼包:《最新AI大模型学习资源包》免费分享 👈👈

(👆👆👆安全链接,放心点击)

对于0基础小白入门:

如果你是零基础小白,想快速入门大模型是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

👉1.大模型入门学习思维导图👈

要学习一门新的技术,作为新手一定要先学习成长路线图,方向不对,努力白费。

对于从来没有接触过AI大模型的同学,我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线,大家跟着这个大的方向学习准没问题。(全套教程文末领取哈)
在这里插入图片描述

👉2.AGI大模型配套视频👈

很多朋友都不喜欢晦涩的文字,我也为大家准备了视频教程,每个章节都是当前板块的精华浓缩。
在这里插入图片描述

在这里插入图片描述

👉3.大模型实际应用报告合集👈

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。(全套教程文末领取哈)

在这里插入图片描述

👉4.大模型实战项目&项目源码👈

光学理论是没用的,要学会跟着一起做,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战项目来学习。(全套教程文末领取哈)
在这里插入图片描述

👉5.大模型经典学习电子书👈

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。(全套教程文末领取哈)
在这里插入图片描述

👉6.大模型面试题&答案👈

截至目前大模型已经超过200个,在大模型纵横的时代,不仅大模型技术越来越卷,就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道,我总结了大模型常考的面试题。(全套教程文末领取哈)
在这里插入图片描述

为什么分享这些资料?

只要你是真心想学AI大模型,我这份资料就可以无偿分享给你学习,我国在这方面的相关人才比较紧缺,大模型行业确实也需要更多的有志之士加入进来,我也真心希望帮助大家学好这门技术,如果日后有什么学习上的问题,欢迎找我交流,有技术上面的问题,我是很愿意去帮助大家的!

这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理,鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位,在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利,同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目,无论你是小白还是有些技术基础的,这份资料都绝对能帮助你提升薪资待遇,转行大模型岗位。

在这里插入图片描述
在这里插入图片描述

CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN,朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】

读者福利: 👉👉CSDN大礼包:《最新AI大模型学习资源包》免费分享 👈👈

(👆👆👆安全链接,放心点击)

更多推荐