把企业制度、产品手册和项目资料上传到一个问答界面,用户就能开始提问。但“文件上传成功”和“知识库能够可靠回答”之间,还隔着内容是否读对、是否完整、是否有效,以及能否找到的问题。

企业建设AI知识库,首先需要把文件整理成可识别、可检索、可追溯的数据。金仓开发者大会介绍的金仓智能数据开发平台KIDS,围绕这一过程提供数据加工能力,并与KingbaseES协同,为金仓AI数据库应用准备知识基础。

文件里有知识,不代表系统已经正确读懂

假设一份报销制度包含正文、跨页表格和例外说明。正文规定住宿标准,表格按城市和员工类别列出额度,最后一页又说明特殊项目适用另一套规则。如果解析时丢掉表头,或者把例外说明与对应条款分开,后续回答就可能采用错误条件。

问题未必出在模型不够强。模型收到的内容本身已经缺失,回答再流畅,也无法恢复未被正确传入的事实。因此,在追问模型参数之前,可以先检查知识库保存了什么。

金仓智能数据开发平台KIDS将解析质量、分块方式、元数据缺失和工具碎片化列为RAG数据准备中的常见难题。RAG即检索增强生成,在回答前检索相关内容,再交给模型组织答案;检索的内容质量会直接影响后续过程。

从原始文件到可用知识,需要完成哪些工作

数据准备可以按处理目标拆开理解。每一步都有独立作用,也有需要保留的信息。

环节要完成的工作应保留的依据
解析识别文字、表格与章节结构原文件、页码和内容位置
清洗处理重复、乱码与无关噪声清洗规则和处理前后内容
分块按可理解的内容单元组织文本标题、父级章节和上下文
抽取形成问答、实体或关系等知识对应原文与审核结果
入库保存内容及其检索表示来源、版本、权限和更新状态

这是一种实施拆解,并非所有知识库都必须采用完全相同的流程。例如,只回答简短产品FAQ的应用,与处理复杂合同的应用,在解析和审核上的重点会不同。

KIDS与KingbaseES分别承担什么

KIDS把能力划分为特征工程、知识工程和知识图谱工程,涉及格式解析、清洗、语义切分、问答生成、人工校审及实体关系抽取。它关注的是如何把分散的数据加工成可用的知识资产。

KingbaseES则在整体方案中承担相关数据存储与查询能力。两者协同,可以把数据准备与后续知识检索连接起来。不能因为它们出现在同一套方案中,就把全部文档加工能力都描述为数据库内核自动完成。

大会上展示的一站式数据准备演示设计,还包含切块合并、拆分、编辑,问答审核,以及图谱预览与审核。这些环节让用户有机会修正机器处理结果,而不是只能接受一次自动生成的输出。

先用一小组真实问题检验数据

企业可以选取一个范围清楚的主题作为起点,例如售后政策。先准备一组真实问题,标注对应原文,再沿处理过程检查:关键条款是否被正确解析,分块后是否仍有适用条件,检索时能否找到依据,答案是否准确引用。

样本应包括正常问题,也包括例外、过期条款和资料中没有答案的问题。知识库不仅需要会回答,还需要识别证据不足的情况。这些属于建议的验证方法,应结合业务风险确定审核要求。

对于清洗规则,也不能简单认为删除越多越好。页眉页脚可能是重复噪声,也可能包含版本或保密标记;表格旁的脚注可能决定数值适用范围。自动处理后,应对代表性文档检查信息是否被误删。

数据更新,需要有人负责

知识库首次建好之后,制度仍会调整,产品仍会迭代。谁提供新版本,旧内容是否退出检索,失败任务怎样补处理,都需要明确。

建议保留原文件与加工结果的对应关系,让团队能从一条答案追溯到具体版本,也能在资料变化时找到受影响的切片和知识。KIDS在大会上展示了流水线编排、任务调度和版本管理等设计,为持续加工提供支撑;实际更新规则仍需按项目配置。

AI数据库用金仓,从准备好企业知识开始

企业AI知识库的建设,不止是增加一个提问入口。把资料读完整、整理清楚、保存依据,才能为检索和回答创造可靠条件。

金仓智能数据开发平台与金仓AI数据库协同,将数据加工与存储查询连接起来。AI数据库用金仓,从一个有明确来源和业务范围的知识主题开始,让企业资料逐步成为能够被使用、被维护的知识。

我是金融科技一线搬砖人@FinTech老王,现任某头部金融科技公司软件开发工程师。

🔧 8 年 Oracle / MySQL 迁移改造老兵,两地三中心 & 分布式架构全线实战。

💬 欢迎评论区 一起把金融核心系统搬上「中国芯」 !

Logo

更多推荐