文章摘要

在日益发展的AI领域,检索增强生成(RAG)已成为利用外部数据增强大语言模型(LLM)的首选方法。然而,传统的RAG往往依赖于缺乏深度关系感知的、以文档为中心的非结构化方法。本文介绍了GraphRAG,一种新兴的方法,它利用基于图的数据表示来提供更丰富的上下文、动态查询和更可靠的答案。我们还将探讨Agentic架构,以及如何将GraphRAG和Agentic架构结合到一起,来实现更强大的AI应用。最后,本文介绍了NeoConverse,一个将GraphRAG和Agentic架构结合在一起的实验性GenAI应用,并展示了其实际应用案例。

引言

在当今快速发展的AI世界中,企业越来越依赖于能够从大量数据中提取有价值见解的强大工具。检索增强生成(RAG)作为一种关键技术,通过整合外部知识来增强大语言模型(LLM)的能力,从而应对这一挑战。然而,传统的RAG方法在处理复杂关系和多跳推理方面存在局限性。为了解决这些问题,GraphRAG应运而生,它利用知识图谱的强大功能来提供更丰富、更动态和更可靠的上下文。本文将深入探讨GraphRAG的概念,以及它如何超越传统RAG,从而实现更智能、更高效的AI应用。此外,我们将探讨Agentic架构,这是一种利用专门的组件(即代理或工具)来委托工作的体系结构,以及NeoConverse,一个将GraphRAG和Agentic架构结合在一起的实验性GenAI应用。

传统RAG的局限性

传统的RAG方法通常将数据分解为较小的块,如段落或句子,并使用文本嵌入来表示每个块。在查询处理期间,会搜索这些嵌入以检索与关键字相似或语义匹配度最高的块,从而为LLM提供外部上下文。虽然这种方法对于一般问题回答是有效的,但在以下方面往往存在不足:

  • 深度关系查询
    传统的RAG擅长根据关键字相似性或语义接近度提取相关文本块,但它不适用于需要推理块、文档、实体或更广泛上下文之间关系的查询。
  • 上下文碎片化
    文档被视为孤立的块,嵌入捕获局部含义而不是全局连贯性,这使得难以拼凑多跳推理(例如,“哪些供应商与X公司的产品线相关联,以及销售趋势如何?”)。

GraphRAG的优势

与传统RAG不同,GraphRAG利用知识图谱,其中实体和关系是首要考虑因素。

这种方法使得:

  • 上下文检索
    可以探索图结构以准确找到所需的节点(公司、供应商、产品)和关系。
  • 丰富的多跳查询
    图数据库自然处理多级关系,从而更容易形成高级查询。
  • 可解释的推理
    基于图的检索允许精确跟踪答案的推导方式,将其链接到特定来源信息,从而增强信任度和更好的可审计性。

Agentic架构简介

传统的LLM应用程序依赖于整体提示工程来处理所有任务,而Agentic架构使用函数调用和工具使用将工作委托给专门的组件(即代理或工具)。工具是特定的函数或API(例如,数据库搜索或计算器),而代理通常依赖于工具来实现其目标,充当编排者或决策者,根据手头的任务调用和协调一个或多个工具。

例如:

  • 专业代理
    每个代理处理一个更高级别的任务。代理可以使用一个或多个工具,这些工具是与执行检索或操作任务的数据源或API的单个集成。
  • 自适应LLM
    LLM解释用户意图并选择最佳代理或工具,而不是依赖预定义的规则。
  • 可扩展性和模块化
    可以轻松添加或更新其他代理,而无需重新训练模型。

NeoConverse: GraphRAG 与 Agentic 架构的结合

NeoConverse是一个实验性的GenAI应用程序,它将GraphRAG和Agentic架构结合在一个环境中。可以将NeoConverse视为一个试验平台,用于了解下一代LLM解决方案的外观。它不是一个生产就绪的平台,缺少例如SSO或企业级加密、复杂的防护措施和验证等功能。

NeoConverse的关键特性包括:

  • 基于图的智能
    利用Neo4j探索丰富的关系,执行多跳查询,并应用高级图算法以获得更深入的见解。
  • Agentic工具
    定义用于各种特定领域任务的专业工具,使用方法包括:
  • 图遍历
  • 全文搜索
  • 向量嵌入
  • 图数据科学算法
  • 外部API集成
  • 架构
    NeoConverse使用单代理架构,其中LLM充当代理,动态选择相关工具。
  • 自动模式提取
    自动检索和更新Neo4j模式,使LLM能够精确理解可用的节点、关系和属性。
  • 少样本上下文
    通过提供示例查询和简短的特定领域问答对来提高LLM的准确性,从而更好地指导理解。
  • 自主工具选择
    使用函数调用自主选择最佳代理或工具,从而显着减少用户干预。
  • 智能回退机制
    当未识别出合适的Agentic工具时,优雅地回退到Text2Cypher查询生成。
  • 动态图表生成
    直接从自然语言查询生成可视化(例如,“按公司部门显示收入的条形图”)。
  • 实验性图可视化
    使用Neo4j可视化库交互式可视化查询结果,以进行实验性图可视化。

NeoConverse的工作流程

NeoConverse的工作流程如下:

  1. 用户用通俗易懂的语言提问。
  2. LLM解析意图并检查是否适用任何用户定义的代理。
  3. 如果可以使用专业代理,则NeoConverse执行相应的工具。否则,它将回退到GetCypher工具进行Text2Cypher生成。
  4. 检索到的上下文被发送回LLM,LLM编译最终答案。
  5. NeoConverse向用户返回基于数据支持的响应。

使用公司数据集探索NeoConverse

为了更好地理解NeoConverse的运作方式,我们将使用基于Neo4j图数据库构建的公司知识图谱。此图谱对各种组织进行建模,包括公司、地点、高管、投资、供应商、竞争对手和新闻文章。

NeoConverse代理设置

在NeoConverse中,可以从左侧的菜单中创建自定义代理。代理配置收集以下信息:

  1. General
    提供代理的名称和描述。
  2. Neo4j Connection
    配置Neo4j连接详细信息以进行对话。
  3. GenAI API
    设置API凭据和LLM模型配置。
  4. Schema
    根据Neo4j连接详细信息自动提取模式。
  5. Few-Shot Examples
    In-context learning 样本。
  6. Tools for LLM
    创建具有目标和检索方法的工具。

案例分析:Palantir

为了展示GraphRAG的强大功能,我们来看一个具体的例子:Palantir。

传统RAG的局限性

使用传统RAG,当询问有关Palantir的信息时,LLM可能会检索到与Palantir无关的实体,例如Salesforce或Facebook。这是因为传统的RAG无法理解实体之间的复杂关系,并且依赖于关键字匹配,这可能会导致不相关的结果。

GraphRAG的优势

使用GraphRAG,LLM能够通过知识图谱中定义的Palantir节点,正确识别Palantir的实际客户,同时排除不相关的实体。这是因为GraphRAG确保检索到的文章与知识图谱中的Palantir节点相关联,从而为LLM生成答案提供了更好的上下文。

Agentic架构的实际应用

Agentic架构通过使用专门的工具和代理来增强LLM的能力。在NeoConverse中,我们创建了一个工具,用于检索实时股票信息。该工具名为“get_stock_info”,它使用外部API检索给定公司股票代码的实时股票数据。

Agentic架构的步骤:

  1. 接收请求
    用户提出一个复杂的问题:“确定媒体报道最多的公司,提供您可能获得的任何见解的摘要,以及其当前股价”。
  2. 解析和工具选择
    LLM解析用户的意图并确定需要哪些工具来回答问题。在这种情况下,它识别出需要“get_stock_info”工具来获取股票数据,以及其他工具(例如,图遍历或新闻搜索)来查找媒体报道和见解。
  3. 工具执行
    LLM调用选定的工具。这包括使用“get_stock_info”工具获取股票数据,使用图遍历工具来查找相关公司信息,以及使用新闻搜索工具来检索媒体报道。
  4. 上下文增强
    LLM将从各个工具检索到的信息组合在一起,创建一个全面的上下文。这包括股票数据、公司信息和媒体报道摘要。
  5. 答案生成
    LLM使用增强的上下文生成最终答案。它提供对用户的请求的全面响应,包括有关媒体报道、公司见解和当前股价的信息。
  6. 响应用户
    系统向用户提供最终答案,提供关于公司及其股票表现的全面、数据驱动的见解。

通过利用agentic架构,NeoConverse能够高效地处理复杂查询,从多个来源检索信息,并提供全面和相关的答案。

结论

GraphRAG和Agentic架构代表了AI领域的重要进步,它们通过利用知识图谱和专门代理的功能来增强LLM的能力。NeoConverse是一个引人入胜的实验平台,展示了这些技术在现实世界中的应用。随着AI技术的不断发展,GraphRAG和Agentic架构有望在各个行业中发挥越来越重要的作用,从而推动更智能、更高效的AI应用。

Key Takeaways (关键要点)

  • 对于简单的文本检索和摘要任务,传统RAG可能仍然有用,但当实体关系很重要时,应将其与基于图的检索相结合。
  • Agentic架构允许AI系统处理复杂性、协调资源并提供结果,利用专门的工具和代理。
  • NeoConverse是一个实验性平台,展示了GraphRAG和Agentic架构在实际应用中的强大功能。

最后

为什么要学AI大模型

当下,⼈⼯智能市场迎来了爆发期,并逐渐进⼊以⼈⼯通⽤智能(AGI)为主导的新时代。企业纷纷官宣“ AI+ ”战略,为新兴技术⼈才创造丰富的就业机会,⼈才缺⼝将达 400 万!

DeepSeek问世以来,生成式AI和大模型技术爆发式增长,让很多岗位重新成了炙手可热的新星,岗位薪资远超很多后端岗位,在程序员中稳居前列。

在这里插入图片描述

与此同时AI与各行各业深度融合,飞速发展,成为炙手可热的新风口,企业非常需要了解AI、懂AI、会用AI的员工,纷纷开出高薪招聘AI大模型相关岗位。
在这里插入图片描述
最近很多程序员朋友都已经学习或者准备学习 AI 大模型,后台也经常会有小伙伴咨询学习路线和学习资料,我特别拜托北京清华大学学士和美国加州理工学院博士学位的鲁为民老师给大家这里给大家准备了一份涵盖了AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频 全系列的学习资料,这些学习资料不仅深入浅出,而且非常实用,让大家系统而高效地掌握AI大模型的各个知识点。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

AI大模型系统学习路线

在面对AI大模型开发领域的复杂与深入,精准学习显得尤为重要。一份系统的技术路线图,不仅能够帮助开发者清晰地了解从入门到精通所需掌握的知识点,还能提供一条高效、有序的学习路径。

img

但知道是一回事,做又是另一回事,初学者最常遇到的问题主要是理论知识缺乏、资源和工具的限制、模型理解和调试的复杂性,在这基础上,找到高质量的学习资源,不浪费时间、不走弯路,又是重中之重。

AI大模型入门到实战的视频教程+项目包

看视频学习是一种高效、直观、灵活且富有吸引力的学习方式,可以更直观地展示过程,能有效提升学习兴趣和理解力,是现在获取知识的重要途径

在这里插入图片描述
光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

海量AI大模型必读的经典书籍(PDF)

阅读AI大模型经典书籍可以帮助读者提高技术水平,开拓视野,掌握核心技术,提高解决问题的能力,同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说,阅读经典书籍是非常有必要的。
在这里插入图片描述

600+AI大模型报告(实时更新)

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。
在这里插入图片描述

AI大模型面试真题+答案解析

我们学习AI大模型必然是想找到高薪的工作,下面这些面试题都是总结当前最新、最热、最高频的面试题,并且每道题都有详细的答案,面试前刷完这套面试题资料,小小offer,不在话下
在这里插入图片描述

在这里插入图片描述

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

Logo

更多推荐