NO.2 篇 知识库/RAG能力详解

<ModelArts Versatile-AI原生应用引擎 体验入口>

华为开发者空间 -- 开发平台 --Versatile Agent

( 请在PC端打开 )

什么是AI Agent

AI Agent人工智能体,是一种能够自主感知环境、制定目标、规划行动、执行任务并持续学习的智能程序或系统。比如,告诉AI Agent帮忙下单一份外卖,它就可以直接调用 APP选择外卖,再调用支付程序下单支付,无需人类去指定每一步的操作。

从本质上来讲,大模型作为大脑发号施令,推理能力决定它的决策能力上限,工具模块决定他行动能力的上限、可完成任务的横向宽度、操作场域。而记忆(Memory)模块作为信息存储库,将多次交互的短期和长期信息保存与共享,决定了它规划和决策的准确度与速度,从而实现更个性化的响应。

· AI Agent之ModelArts Versatile

ModelArts Versatile-AI原生应用引擎是一站式企业级全生命周期的智能体平台,为企业专属大模型应用开发的工具链,提供灵活的画布式AI Agent开发能力,让Agent能够准确解决复杂的业务场景问题。提供从Agent开发,使用,运营和运维的全生命周期管理能力。

快速了解 AI Agent—知识库/RAG

· 知识库

——信息的“蓄水池”

知识库是组织、存储及管理知识的系统,涵盖文档、图片、视频等信息的分类整理,可以帮助用户高效管理大量的信息。在Agent中添加知识库,使其与用户提供的专业知识库进行交互,可以显著提升Agent的准确度和专业度。

知识库的数据来源分为直接接入源数据和选择知识数据集两种。

专业领域的知识库已不再是简单的数据堆砌,需要智能化、高效率的知识管理和利用。知识库具体指的是存储过往交互、知识片段和任务状态(可能利用向量数据库)。知识库本身是静态的存储,要让其中的知识,尤其是海量非结构化知识,能够被大模型或RAG系统高效地理解和利用,就需要更智能的检索技术——这正是向量数据库大显身手之处。

--结构化知识库:通常指关系型数据库(如 MySQL、PostgreSQL),数据以表格形式组织,具有严格的模式和关系定义,擅长存储交易,记录、用户信息等高度规整的数据。

--非结构化知识库:存储文档、PDF、PPT、网页、图片、音视频等原始形态的数据。文件系统、文档管理系统、对象存储等都属于此类。它们容量巨大,但信息组织相对松散,直接利用效率较低。

· 知识数据集

知识数据集是组成知识库的重要元素,其核心是将零散知识(如文档、图片、视频等)加工成结构化知识单元:通过本地上传或OBS接入数据,经预处理后切片拆分为更小的知识单元,并配置索引以便Agent快速定位所需知识。完成知识数据集创建后,将其关联至知识库,形成可调用的知识体系。

· RAG

——为模型注入精准信息

RAG(Retrieval-Augmented Generation)即检索增强生成,是一种结合信息检索与文本生成的人工智能技术框架,通过动态引入外部知识库来增强大语言模型的输出质量,旨在解决大语言模型在回答问题时,因知识更新不及时、缺乏特定领域知识或事实性错误等问题,通过在生成回答之前检索相关外部知识源来增强回答的准确性和可靠性。

RAG可以在 AI 接收到问题时,动态地从外部知识库中查找相关信息,然后把这些信息加到提示词里一起交给 AI 处理,从而提高回答质量。RAG本质上是通过工程化手段,解决LLM知识更新困难的问题。其核心手段是利用外挂于LLM的知识数据库(通常使用向量数据库)存储未在训练数据集中出现的新数据、领域数据等。通常而言,RAG将知识问答分成三个阶段:索引、知识检索、基于内容的问答。

‌其应用优势‌在于解决大模型幻觉问题,提升专业领域回答准确性‌;支持私有化知识库与通用模型的融合应用‌;相比微调更具成本效益和灵活性。

RAG类型:VectorRAG(向量RAG)、GraphRAG(知识图谱RAG)

--VectorRAG(向量检索增强生成)

向量RAG,是一种结合了向量化和大语言模型的RAG技术。VectorRAG将非结构化的数据转化为结构化的向量空间,利用向量库实现高效的信息检索。
‌技术原理‌:通过向量数据库将文本数据转换为高维向量,基于语义相似度检索相关片段‌
‌核心优势‌:处理非结构化文本效率高(如文档问答、FAQ系统);实现简单且计算资源需求较低

-- GraphRAG(基于图谱的检索增强生成)

知识图谱RAG,是一种结合了知识图谱和大语言模型的RAG技术。GraphRAG能够处理各种类型的文档,从中提取实体(文档中具体的对象或概念)、关系以及文本内容构建知识图谱(一种结构化的知识表示方式),从而增强大语言模型对复杂信息的理解和推理能力。
‌技术原理‌:构建知识图谱存储实体关系,通过图数据库(如Neo4j)执行多跳推理检索‌
‌核心优势‌:擅长处理结构化/半结构化数据(如知识图谱问答);支持复杂逻辑推理和全局语义理解

· RAG(检索增强生成)与知识库的关系

——通过技术互补实现协同增效

功能定位的差异与互补:‌
知识库作为静态信息存储系统,主要承担结构化数据的精确检索功能(如企业文档查询)‌,而RAG则通过动态检索外部知识库内容,结合大语言模型生成自然语言回答。这种组合既保留了知识库的检索效率,又解决了大模型的幻觉问题。

技术实现的依赖关系:‌
RAG通常以知识库为数据基础,通过知识库文档分块及向量化存储‌、用户查询时进行语义相似度检索、将检索结果作为上下文输入大模型生成最终答案等流程实现知识增强,这种架构使得知识库成为RAG的“数据基础设施”‌。

在智能体架构中,‌知识库是静态的知识载体,而RAG是动态的知识调用机制‌。两者的结合实现了“存储-检索-生成”的闭环,既扩展了大模型的能力边界,又保障了输出的准确性与可追溯性。未来随着多模态知识库的发展,RAG的应用场景将进一步扩展。

380bd348cfea40f2bee395b6b5d7f40b (1).png

 

ModelArts Versatile--AI原生应用引擎 知识库/RAG的竞争力优势

Versatile Agent沉淀行业Know-How(专长),通过知识工程提升大模型的表现,进一步支撑行业应用创新。行业/企业经验提取,持续积累企业场景经验模板,动态经验知识库迭代。

知识库RAG 技术优势

01超高效率:企业知识库持续学习,天级迭代;场景学习,周级迭代;领域学习,季度级迭代。

02 RAG: 领域知识库&检索引擎,让大模型输出结果更可靠。

RAG检索增强实践成效:准确率从50%提升到83%。输出结果准确率提升明显;行业知识动态持续更新;检索生成结果速度更快。

03 接入多类实时知识库,更实时、更准确的生成式答案

ModelArts Versatile-AI原生应用引擎接入多类型知识库,充分获取企业最新知识,增强实时性和准确性;灵活可配置的融合检索策略。

04 行业知识赋能大模型

ModelArts Versatile-AI原生应用引擎通过RAG赋能增强大模型行业知识,提升行业理解能力和业务准确性。融入企业业务场景,从企业业务场景经验提取,“经验模板” 迭代优化,形成企业经验模板库(专属知识库)。

相关特性

知识数据集管理:接入源数据、数据加工、知识数据集基础操作

知识库管理:接入源数据或选择知识数据集、知识库的基础操作、索引字段配置、检索方式、能力开放。

三方知识库接入:三方知识库API接入- 适配第三方图数据库。

--选择知识数据集-创建知识库:在“选择知识数据集”面板,勾选目标数据集,并选择数据集版本及索引配置。当知识库RAG类型为“VectorRAG”时,按照混合检索、语义检索、全文检索多模式开展。当知识库RAG类型为“GraphRAG”时,默认为“语义检索”方式。

--接入数据源-创建知识库:选择数据源的接入方式,支持以下两种方式,01 本地上传:数据文件在本地,从本地选择文件进行上传;02 OBS接入:数据文件存放在华为云OBS桶,从OBS桶接入数据。

知识飞轮 技术优势

超高效率,知识飞轮帮助企业知识库周级创建、天级迭代。

--数据积累与回流:采集增量业务数据和用户反馈数据,提炼知识,提供给大模型,支撑大模型能力持续增强。

--多轮迭代机制:支持天级持续学习(自动)、周级场景学习、季度级领域学习三轮循环迭代机制,持续提升模型能力、应用效果。

针对反馈数据的提炼和学习,ModelArts Versatile-AI原生应用引擎通过多工具预集成、主流模型集成、业务应用信息抽取插件、智能应用反馈插件、自动化调度等能力构建知识飞轮,将业务人员在日常作业过程中积累的增量数据和用户反馈提炼为企业知识,不断供给大模型开展多轮循环学习实现天级迭代,持续提升智能应用体验与效果。

Versatile--AI原生应用引擎 知识库/RAG 主要解决什么问题(知识中心)

结构化知识存储‌
领域知识库(如医疗术语库、法律条款)提供专业认知基础‌
企业知识库(产品手册、业务流程)支撑特定场景服务‌
用户画像知识库(偏好记录、行为模式)实现个性化交互‌

‌动态知识演进‌
短期记忆沉淀为长期知识(如对话摘要转为用户特征向量)‌
通过知识图谱自动更新实体关系(如新增"用户-宠物-用品"关联)‌

‌功能边界突破‌
突破LLM原生知识限制(通过企业私域知识库回答内部流程问题)‌
支持多模态知识融合(图文知识库+语音交互记忆)‌


‌持续学习基础‌
为模型微调提供高质量训练数据(清洗后的用户交互记录)‌
构建可解释的知识溯源链条(决策依据可关联到具体知识条目)‌

ModelArts Versatile-AI原生应用引擎知识中心,内置知识库+RAG技术突破大模型的知识局限和幻觉问题。它的核心思想并非让模型死记硬背所有知识,而是赋予它"按需查找"的能力,极大地提升了大模型在特定领域或依赖精确事实场景下的表现力和可靠性,巧妙地将大模型的强大语言生成能力与结构化/非结构化外部知识源的丰富性结合起来,实现了"1+1>2"的效果。同时提升了 AI 的交互能力,还为其在各种复杂场景中的应用提供了可能性,包括上下文连续性‌、‌复杂任务处理‌、‌长期项目管理、认知能力增强‌等能力。

结语

ModelArts Versatile-AI原生应用引擎,以知识库融合RAG技术,担当智能体大脑的“第二存储”,搭建与业务场景融合的知识库,融会贯通行业特有经验沉淀,实现快速检索访问获取信息,增强Agent自主执行能力与结果可靠性。通过知识工程提升大模型的表现,进一步支撑行业应用创新。同时,Versatile助力广大开发者将Agent开发简化并内化成基础技能,快速搭建各领域智能应用,辐射千行万业,变革智能生产力。

点击可前往>>【技术干货】 AI Agent智能体系列解读 | ModelArts Versatile--AI原生应用引擎——知识库/RAG能力详解

Logo

欢迎大家加入成都城市开发者社区,“和我在成都的街头走一走”,让我们一起携手,汇聚IT技术潮流,共建社区文明生态!

更多推荐