【必学收藏】GraphRAG完全指南：从零开始构建知识图谱增强的RAG系统，解锁大模型新能力

程序汪小陈

1659人浏览 · 2025-10-04 10:15:00

程序汪小陈 · 2025-10-04 10:15:00 发布

在大模型时代，检索增强生成（RAG）已成为解决大模型 “幻觉”、提升输出准确性的核心技术，但传统 RAG 常受限于文本块的线性检索，难以捕捉信息间的深层关联。而GraphRAG的出现，通过引入知识图谱的结构化特性，为 RAG 系统赋予了 “理解关联” 的能力 —— 它能将非结构化文本转化为 “实体 - 关系” 网络，再基于图结构实现更精准、更具关联性的检索与生成。

本文将以微软 GraphRAG 框架为核心，结合经典文学作品《Penitencia》（巴勃罗・里韦罗著）的实战案例，从环境配置到图查询全流程拆解，带你从零掌握 GraphRAG 的核心逻辑与落地方法。

一、GraphRAG 核心认知：不止是 “RAG + 图”，更是 “关联驱动的智能检索”

GraphRAG 并非简单将知识图谱与 RAG 拼接，而是通过图结构建模信息关联，重构 RAG 的 “索引 - 检索” 链路。其核心价值在于：打破传统 RAG “单文本块检索” 的局限，让系统能基于实体间的关联关系（如人物关系、事件因果）定位信息，尤其适用于处理小说、报告、论文等包含复杂逻辑关联的文本。

微软 GraphRAG 的实现框架可拆解为两大核心阶段，每个阶段对应明确的技术目标：

图创建阶段：将非结构化文本转化为结构化知识图谱，核心是 “实体提取” 与 “社区划分”，前者构建基础 “节点 - 边” 网络，后者挖掘网络中的主题聚类；
图查询阶段：基于图结构实现多样化检索，提供三种核心模式 —— 局部搜索（精准定位实体关联）、全局搜索（挖掘主题全貌）、漂移搜索（追踪信息动态变化）。

我将使用一个真实世界的例子来引导你完成图创建、局部搜索和全局搜索。所以，事不宜迟，让我们使用GraphRAG来索引和查询Pablo Rivero的著作《Penitencia》吧。

GraphRAG的关键步骤：图创建和图查询

二、设置

GraphRAG的文档会引导你完成项目设置。一旦你初始化了工作区，你会在ragtest目录中找到一个配置文件（settings.yaml）。

项目结构

我已经将《Penitencia》这本书添加到了input文件夹中。对于本文，我保留了配置文件不变，以使用默认设置和索引方法（IndexingMethod.Standard）。

三、图创建

要创建图，运行：

graphrag index --root ./ragtest

这会触发两个关键操作：从源文档中提取实体和将图划分为社区，这些操作在GraphRAG项目的workflows目录的模块中定义。

实现实体提取和图社区划分的模块。数字（黄色）表示执行顺序。

实体提取

在create_base_text_units模块中，文档（在我们的例子中是《Penitencia》这本书）被分割成更小的N个token的块。

《Penitencia》这本书的前五个块。每个块长1200个token，并有一个唯一的ID。

在create_final_documents中，会创建一个查找表，将文档映射到其相关的文本单元。每行代表一个文档，由于我们只处理一个文档，所以只有一行。

显示所有文档及其ID的表格。对于每个文档，所有相关的块（即文本单元）都按其ID列出。

在extract_graph中，每个块都使用LLM（来自OpenAI）进行分析，以提取实体和关系，并由这个提示引导。

在此过程中，可能会出现重复的实体和关系。例如，主角Jon在82个不同的文本块中被提及，因此他被提取了82次——每个块一次。

实体表的快照。实体按实体标题和类型分组。实体Jon被提取了82次，这可以从频率列中观察到。text_unit_ids和description列分别包含82个ID和描述的列表，显示了Jon在哪些块中被识别和描述。默认情况下，有四种实体类型（地理、人物、事件和组织）。

关系表的快照。关系按源实体和目标实体分组。对于Jon和Celia，description和text_unit_ids列分别包含14个条目的列表，表明这两个角色在14个不同的文本块中识别出关系。weight列显示了LLM分配的关系强度之和（权重不是源节点和目标节点之间的连接数！）。

通过根据实体标题和类型对实体进行分组，以及根据源节点和目标节点对关系进行分组，尝试进行去重。然后，提示LLM通过分析所有出现位置的较短描述来为每个唯一实体和唯一关系编写详细描述（参见提示）。

带有最终实体描述（由所有提取的短描述组成）的实体表快照。

带有最终关系描述（由所有提取的短描述组成）的关系表快照。

如你所见，去重有时并不完美。此外，GraphRAG不处理实体消歧（例如，Jon和Jon Márquez将是独立的节点，尽管它们指的是同一个人）。

在finalize_graph中，NetworkX库用于将实体和关系表示为图的节点和边，包括节点度等结构信息。

最终实体表的快照，其中每个实体代表图中的一个节点。节点的度是它拥有的边的数量（即它连接到的其他节点的数量）。

最终关系表的快照，其中每个关系代表图中的一条边。边的combined_degree表示源节点和目标节点度数之和。具有高combined_degree的边很重要，因为它连接了高度连接的节点。

我发现实际看到图有助于理解，所以我使用Neo4j可视化了结果（notebook）：

使用Neo4j将《Penitencia》可视化为图

使用Neo4j可视化实体Jon及其关系

使用Neo4j可视化Laura和Mario之间的关系作为图边

将图划分为社区

在create_communities中，使用Leiden算法（一种分层聚类算法）将图划分为社区。

社区是节点组，它们彼此之间的关系比与图中其他部分的关系更密切。Leiden算法的分层性质允许检测不同特异性的社区，这反映在它们的级别中。级别越高，社区越具体（例如，级别3非常具体，而级别0是根社区，非常通用）。

社区表的快照。社区0是级别0社区，使其成为根社区（没有父级）。它有两个子社区，如children列所示。社区封装的所有关系、文本单元和实体都列在相应的列中。size列显示社区由131个实体组成。

如果我们将每个社区可视化为一个节点，包括属于该社区的实体，我们可以识别出簇。

过滤IN_COMMUNITY关系的《Penitencia》图显示了15个根级别社区（红色圆圈）

社区的价值在于它们能够 объединить来自各种来源的信息，如实体和关系，从而提供宏观的见解。对于书籍，社区可以揭示文本中的总体主题或话题，正如我们将在步骤8中看到的那样。

Neo4j可视化三个分层连接的社区：社区2（Celia Gómez和Tetuán事件）— [父级]→ 社区23（Celia的绝望和家庭暴力）— [父级]→ 社区42（Celia与Laura的斗争）。排名是LLM分配的社区重要性，从1（最低重要性）到10（最高重要性）。

在create_final_text_units中，来自步骤1的文本单元表将实体ID、关系ID和协变量ID（如果有）映射到每个文本单元ID，以便于查找。

最终文本单元表的快照

协变量本质上是声明。例如，“Celia murdered her husband and child (suspected)。” LLM根据提示从文本单元中推断出它们。默认情况下，不提取协变量。

在create_community_reports中，LLM为每个社区编写一份报告，详细说明其主要事件或主题，以及报告的摘要。LLM由提示引导，并接收来自社区的所有实体、关系和声明作为上下文。

显示报告生成前中间步骤的表格快照。对于每个社区，收集所有实体和关系，然后将其结构化为字符串，作为上下文传递给LLM。context_exceed_limit列在context_string需要缩短时提醒算法。

对于大型社区，上下文字符串（包括实体、关系，可能还有协变量）可能会超过配置文件中指定的max_input_length。如果发生这种情况，算法有一种方法可以减少上下文中的文本量，包括层次替换（Hierarch Substitution）和（如果需要）截断（Trimming）。

在层次替换中，来自实体、关系、声明的原始文本被子社区的社区报告替换。

例如，假设社区C（级别0）有两个子社区S1和S2（都是级别1）。社区S1的大小（实体数量）大于S2。在这种情况下，C中所有属于S1的实体、关系和声明都将被S1的社区报告替换。这优先考虑了最大的token数量减少。如果上下文长度仍然超过max_input_length，则会进行截断。

在create_final_communities中，最终的社区报告被生成并保存。这些报告是GraphRAG的核心输出之一，因为它们提供了对数据集中高级主题和概念的总结性理解。

四、查询图

GraphRAG提供了三种查询图的方法：局部搜索、全局搜索和漂移搜索。每种方法都针对不同的查询类型和信息需求进行了优化。

局部搜索（Local Search）

局部搜索是最直接的查询方法，它侧重于检索与查询直接相关的实体和文本单元。它适用于需要精确答案且查询范围较窄的情况。

局部搜索

局部搜索的工作原理是：首先，LLM会从用户查询中提取关键实体。然后，系统会查找这些实体在图中直接连接的文本单元。最后，这些文本单元会被用于生成答案。

# 示例：局部搜索
query = "Jon和Celia之间有什么关系？"
# 假设我们有一个函数来执行局部搜索
def local_search(query):
# 1. LLM提取实体
# 2. 查找相关文本单元
# 3. 生成答案
return "Jon和Celia在多个文本块中被识别出有关系，例如在Tetuán事件中。"
print(local_search(query))

全局搜索（Global Search）

全局搜索旨在发现更广泛的、与查询相关的概念和主题，它利用了图的社区结构。当用户需要对某个主题进行全面概述或探索相关概念时，全局搜索非常有用。

全局搜索

全局搜索的工作原理是：LLM首先识别与查询相关的社区。然后，系统会检索这些社区中的所有实体、关系和文本单元，并将它们作为上下文提供给LLM以生成更全面的答案。

# 示例：全局搜索
query = "Penitencia这本书的主要主题是什么？"
def global_search(query):
# 1. LLM识别相关社区
# 2. 检索社区内的所有信息
# 3. 生成全面答案
return "《Penitencia》这本书的主要主题包括家庭暴力、绝望和个人挣扎，这些主题在不同的社区中都有体现，例如Celia Gómez和Tetuán事件的社区。"
print(global_search(query))

漂移搜索（Drift Search）

漂移搜索是一种更高级的查询方法，它旨在检测信息随时间或上下文的变化。这对于分析趋势、事件演变或概念漂移非常有用。

漂移搜索

漂移搜索通常涉及比较不同时间点或不同上下文中的图结构或社区。通过识别图中的变化，LLM可以生成关于这些变化的见解。

# 示例：漂移搜索
query = "Jon在故事不同阶段的角色有什么变化？"
def drift_search(query):
# 1. 比较不同时间点的图结构
# 2. 识别变化和趋势
# 3. 生成关于变化的见解
return "Jon的角色在故事的不同阶段有所演变，从最初的...到后期的...，这反映在与他相关的实体和关系的变化中。"
print(drift_search(query))

总结

微软的GraphRAG通过结合知识图谱的结构化优势和LLM的强大推理能力，为RAG系统带来了显著的增强。从实体提取到社区划分，再到多种查询方法，GraphRAG提供了一个全面的框架，用于从非结构化文本中提取、组织和检索复杂信息。

作为一名在RAG领域深耕多年的AI技术从业者，我深知构建高效、准确的RAG系统所面临的挑战。GraphRAG的出现，无疑为我们提供了一个新的视角和强大的工具集，尤其是在处理大规模、复杂且需要深层语义理解的数据时。它不仅提高了检索的精确性，还通过图结构提供了更丰富的上下文和更深入的洞察力。

未来，我们可以期待GraphRAG在更多领域发挥作用，例如在企业知识管理、智能客服、内容推荐等方面。随着图神经网络和LLM技术的不断发展，GraphRAG这类结合两者优势的系统将变得越来越重要，为我们解锁更多AI应用的潜力。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】