Agent 学习笔记 11:知识怎样组织、更新与检索
1、把文档切成文本块就够了吗?
对于技术手册、法律文书等结构复杂、逻辑严谨的材料如果只靠互不关联的文本块,只检索零散片段就难以回答用户的问题。因此必须构建能反映知识层次与关联的结构化索引。无论是存入向量数据库、检索后注入上下文还是直接塞进上下文,未经提炼和结构化的知识,模型都无法可靠的利用,我们不得不在索引阶段投入计算资源,对原始知识主动提炼、抽象和结构化。
首先介绍结构化索引:索引之前先用LLM把知识整理一遍(归纳、抽象、建立关联)。主要包含两个角度:
(1)RAPTOR树状层次

RAPTOR首先将长文档切分为小的文本块作为树的叶子节点,随后通过聚类算法将语义相近的叶子节点分组,最终聚类到根节点全局摘要上。这样一棵树就从具体的细节(叶子节点)到高度概括总结(根)的知识树。
这样的树状结构就使得检索既能回答具体的细节,也能提供对宏观概念的理解。
(2)GraphRAG实体关系图
GraphRAG是将文档知识建模为由实体与关系构成的知识图谱。他有两个核心优势:
多跳关系推理:常规存储中如果要检索XX地址时就需要多次独立检索再由LLM拼接,效率低且容易断链,知识图谱具有天然的优势,支持沿着关系边遍历,既高效又可靠;
实体消歧:区分现实世界两个同名的物体同样可以靠知识图谱来解决,每个实体是图中的不同节点,通过各自的关系边连接到不同的人和机构,消岐过程原生带有无需额外推理。
GraphRAG先利用LLM从文本提炼关键实体比如人物、地点、概念和术语,再提炼实体之间的各种关系,系统基于图谱通过社区发现算法找出语义紧密的实体集群并生成摘要,然后发现知识中自然形成的主题聚类,形成思维导图。
那么如何选择结构化索引和混合索引呢:如果需求是查询包含某个信息的文档片段混合检索足矣,如果查询经常需要跨文档综合或者多层次导航,结构化索引就值得。
2、怎样用目录和链接组织知识?
文件系统范式是字节跳动开源的一种知识组织方式。OpenViking将所有上下文(记忆、资源、技能)映射为虚拟文件系统中的目录和文件,每个条目有唯一URL。

Agent通过图示路径访问知识,框架在背后决定从内存、磁盘还是远程加载。文件系统设计的核心是L0/L1/L2三层上下文按需加载,资源注入时,系统将原始内容提炼为三个抽象层级:
L0(摘要):100tokens左右的概括,用于快速判断目录相关性;
L1(概览):2000tokens的核心信息与适用场景,供Agent规划决策;
L2(全文):完整原始内容,仅在需要深入时按需加载。(是不有点skill渐进式披露那感觉)
每个目录下自动生成.abstract L0和.overview L1文件形成从根到叶的层次化摘要结构。选择Markdown纯文本而非专用数据库作为知识的底层表达是另一特点,用户可以直接阅读、编辑和修正Agent的知识,也可以通过Git版本控制和回滚;但有一点要注意:文件之间需要建立链接与索引,每个条目在提及其他条目时都以链接指向他,再辅以入口页和索引页,使得Agent能顺着链接从一个概念走到相关概念。
3、新知识怎样更新,旧知识怎样整理?
知识不是一成不变的,一个上线的系统会持续收到信息,那么如何更新新知识呢:
(1)事件触发的增量更新
增量更新针对的是刚才出现的新证据如何对当前知识局部修改,将每次的知识变更变成一个Pull Request进入Git获得差异审查、版本历史、责任回溯和一键回滚。
①Proposer Agent提交PR:从原始证据中发现新事实、冲突或过期内容,在工作分支上提出尽可能小而完整的diff;
②Reviewer Agent独立审查:拿到变更前的知识、diff和原始证据(轨迹、原始对话、业务文档或工具执行结果)独立审查每个新断言是否能被证据支持、是否遗漏限定条件、是否与其他文件冲突、删除与改写是否过度,审核不通过就返回指向具体证据和行号的可执行意见;
③双方迭代至收敛:proposer根据修改意见继续整理diff,reviewer再次回到原始证据复核,只有他明确批准,PR才合入,同时也要设置最大迭代次数或成本预算,超出后仍未收敛就降级到人工;
④合入后再发布:CI先检查格式、链接、元数据、权限标签,如果知识用代码表示,还要检查类型和测试,通过后从已合入的版本增量重建受影响的分块、摘要和向量检索。
上面两个Agent应使用能力相当但是不同家族的模型。Proposer 只能写工作分支,Reviewer 只读证据并提交审核结果,只有合并流程可以更新主分支和线上索引。
(2)周期触发的全量整理
增量更新是及时更新,但他每次只看到局部。长期运行后多次局部正确的修改仍可能会出现全局问题。因此还需要全局更新进行兜底:
①去重、去旧与合并:全量扫描当前知识,识别语义重复、已经被取代、过度碎片化或只有表述差异的条目将其删除(可服务的知识表达并非下层只增不改的原始数据)、归并或重写。重新建立文件之间链接、入口页和索引页,必要时可以拆分大文件、合并过小文件或调整目录层次;
②回到原始数据核查:整理Agent需要逐段对照原始对话、轨迹、业务文档和工具输出,检查旧摘要是否遗漏关键事实、丢失否定词或时间条件,以及是否把推测当做事实。对于超大知识库可按照目录、时间或主题分批扫描,保留覆盖清单,确保分批处理最终覆盖全量而非随机抽样;
③冲突解决与场景限定:遇到矛盾说法要追溯各自的原始信息源,检查他们是否在不同时间、对象、地域、任务前提条件下成立。如果两者均有效,就不能删除某一项要把各自的适用场景写入知识,如果证据不足则应保留冲突与待确认状态,不强行下结论。
它同样由 Proposer Agent 在分支上提交重组 diff,再由异源 Reviewer Agent 结合原始证据审核。
4、Agent怎样决定下一步查什么?
有了强大的知识库之后,如果只是按照传统RAG流程运行一个简单的单向数据流,效果也不明显,缺乏对问题进行深度理解、分解和迭代探索的能力。解决方法是Agentic RAG(智能体化RAG)利用ReAct模式通过思考-行动-观察的循环主导整个过程。

这里出现了一个安全边界:间接提示词注入、知识库投毒
防御思路:指令与数据分离:对所有检索的内容标记来源,明确告知模型这只是外部参考不是你要服从的指令;不让检索内容直接触发高风险操作:对于删除、转账、外发信息这类指令不凭借检索内容自行通过,而要经过独立的授权判断。
5、给文本块补上背景,为什么更容易搜到?
传统文档分块的方法仍有缺陷,把紧密的上下文分离开来,孤立的文本无法回答某些指代。这种上下文丢失在信息嵌入阶段就造成语义信息的严重损失,直接导致后续检索准确率下降。
上下文感知检索就能解决,核心思想:在对文本块进行向量化索引之前,先利用LLM为其生成一段简短的、包含核心上下文的前缀摘要,将其与原始文本块拼接后再索引。
索引时生成前缀、拼接入库;检索时直接匹配带前缀的条目;生成答案时通常只把原始文本块(而非前缀摘要)交给生成模型,以保持答案的溯源清晰。
6、怎样从大量案例中提炼可复用的知识?
在很多地方知识是以隐性、分散的形式蕴含在海量结构化案例数据中,这就需要全新的RAG范式,深入数据内部通过统计分析与模式识别将隐藏在数据中的隐性知识发掘出来,转换为Agent能理解和运用的结构化决策逻辑。
(1)知识提取与结构化
利用LLM强大的理解和归纳能力,将每个案件的非结构化描述转换为包含所有关键判决因素的标准化JSON对象;(核心是定义一个全面又一致的数据模式)
(2)因子分析与重要性建模
获得大规模结构化数据后,运用数据分析技术发现模式、提炼规律,识别哪些因素对最终结果具有显著影响并量化权重,构建因子重要性层次模型。
7、图片与声音怎样进入Agent的记忆?
存储难以用文字描述的多模态记忆仍处于发展阶段:
(1)存储原始多模态数据与文本描述
Agent看见一张脸,利用工具剪切出人脸部分并以图片格式保存下来,再配上文本加以描述和索引。检索时可以先通过文本描述检索到相关图片,再读取原始图片,判断是否是一个人;
(2)把多模态信息的嵌入压缩存储到上下文中
Agent看到一张人脸后调用工具剪切出人脸部分,计算其嵌入,并将它保存在上下文中。上下文中维护一个区域,保存多个多模态信息各自的嵌入。检索时可以始终在上下文看到所有的多模态信息,并利用注意力机制找到相关信息,效率很高(一个多模态嵌入只占用上下文一个token空间)
(3)把多模态信息的嵌入压缩存储到模型参数中
User as Engram并不训练 LoRA,而是把多模态信息的嵌入精准地写入 Engram 模型中一个空闲的哈希 N-gram 槽位。这类模型在预训练阶段便已学会通过哈希查表来调取记忆,并由一个能感知上下文的门控机制决定何时调取; 于是新写入的事实会自然而然地在该被想起的时候被想起。
更多推荐



所有评论(0)