RAG 基础:知识获取管道

1. RAG 的最小闭环

共享知识库的核心技术是检索增强生成(Retrieval-Augmented Generation,RAG):把 LLM 的思考与生成能力,与外部知识库的广度、时效性结合。模型训练数据有截止日期,知识库可以随时更新。

典型 RAG 由两部分构成:检索器从知识库找出相关片段,生成器(通常是 LLM)拿到片段作为上下文生成答案。

以公司知识库为例:

query = "退款流程"
results = retriever.search(query, top_k=2)
# ["退款政策:订单签收后7天内可申请全额退款,需提供订单号...",
#  "退款操作步骤:1.进入'我的订单' 2.选择需退款的订单 3.点击'申请退款'..."]

answer = llm.generate(system="你是客服助手。", context=results, question=query)
# → "您可以在签收后7天内申请全额退款。操作步骤:..."

核心流程只有三步:检索相关片段 → 注入上下文 → LLM 基于上下文生成答案。

图 1:RAG 查询流程——检索、增强、生成

2. 文档分块

在检索之前,还有一步离线预处理:分块(Chunking),把长文档切成适合独立检索的片段。

为什么必须分块?

  • 嵌入模型对输入长度有限制,而且一整篇文档压成一个向量时,多个主题混在一起,向量无法精确表达任何一个;
  • 检索的目标是只把相关的那部分注入上下文。片段太大,会连带引入大量无关内容,浪费窗口、稀释注意力。

三类常见策略:

固定大小切分:按固定 token 数(如 512)切分,相邻块保留重叠(如 50–100 token),避免关键句恰好在边界被切断。实现简单、结果可预测,但无视文档结构——段落、代码、表格都可能被拦腰截断。

递归/结构感知切分:按自然边界(章节标题、段落、句子)递归切分——先按大边界切,仍超长再降级到更小边界。Markdown、HTML 等有显式结构的文档尤其适合。这是目前生产系统最常用的默认选择。

语义切分:计算相邻句子的嵌入相似度,在语义「断崖」处下刀,使每块内部主题尽量单一。质量更高,代价是需要额外嵌入计算。

块大小与重叠是一对权衡:

  • 块太小,单块信息不完整,脱离上下文后语义模糊(「该公司收入增长了 3%」——哪家公司?哪个季度?);
  • 块太大,一块混杂多个主题,嵌入被稀释,检索精度下降,命中后还带入更多无关内容。

常见起点是每块 256–1024 token、相邻块重叠 10%–20%,再根据检索质量实测调优。

无论哪种策略,分块都会切断片段与原始上下文的联系——「该公司」指代谁、这段话出自哪份报告,这些信息留在块外。这是分块的固有缺陷,后面用「上下文感知检索」修补。

3. 稠密嵌入:语义相似

计算机不能直接理解「苹果」和「橙子」,嵌入把词或句子转化成一串数字(向量),并让语义相近的内容向量也相近。这些向量所在的空间是一张高维地图,语义越接近,点越靠近。

经典例子:国王 - 男性 + 女性 ≈ 女王,说明向量运算可以捕捉语义关系。「稠密」是相对于稀疏嵌入而言:稠密向量每个维度都有数值,稀疏向量大部分维度为零。

衡量两个向量有多近,常用余弦相似度:计算夹角余弦,越接近 1 表示方向越一致、语义越相似。为什么用夹角而不是距离?因为我们关心方向(语义是否相近),而不是长度(文本长度或词频)。两篇内容相同但长度不同的文档,向量长度不同、方向一致,余弦相似度能正确判断语义相同。

图 2:稠密嵌入技术演进

早期 Word2Vec 通过海量文本中词汇的共现关系,为每个词生成固定向量;它能捕捉语言规律,但无法处理一词多义——bank 在「河岸」与「投资银行」中向量相同。

现代嵌入模型(BERT、BGE-M3)在生成词的向量时会考虑整个句子甚至段落。自注意力让模型计算每个词时参考句中所有其他词,因此「苹果」在「苹果公司发布新产品」与「买了两斤苹果」中会得到不同向量,实现从「词汇级」到「语境级」的飞跃。BGE-M3 等模型还支持多语言与长文本;BERT 这类较早模型的输入上限只有 512 token,不适合长文本。

海量向量中快速找最近邻,需要 ANN(近似最近邻)索引。两类主流算法:

特性ANNOY(基于树)HNSW(基于图)
构建速度快较慢
内存占用低较高
增量更新不支持,需完全重建支持,但长期增量后建议定期重建
查询精度较高极高
适用场景数据不常变的静态集需要实时索引新信息的动态场景

在这里插入图片描述

图 3:HNSW 索引结构

索引策略与嵌入模型同等重要,它直接决定性能、成本与可维护性。

4. 稀疏嵌入:精确匹配

与捕捉语义的稠密嵌入不同,稀疏嵌入根植于传统信息检索,核心是精确关键词匹配。它把文档表示为极高维向量,绝大多数维度为零,只有文档中出现的词对应的维度非零。理论基石是词袋模型(BoW):只关心哪些词出现、出现几次,忽略词序——「猫追狗」与「狗追猫」在词袋中完全相同。

TF-IDF 的直觉是:一个词在当前文档出现越多、在整个语料库越少见,对检索越重要。100 篇文章中 60 篇含「模型」、只有 3 篇含「蒸馏」,那么「蒸馏」更能区分哪些文章真正与「模型蒸馏」相关。
[TF-IDF(t,d)=TF(t,d)×IDF(t),IDF(t)=ln⁡NDF(t)] [ \text{TF-IDF}(t,d)=\text{TF}(t,d)\times\text{IDF}(t),\qquad \text{IDF}(t)=\ln\frac{N}{\text{DF}(t)} ] [TF-IDF(t,d)=TF(t,d)×IDF(t),IDF(t)=lnDF(t)N​]

朴素实现有两个局限:词频随出现次数线性增长(出现 10 次得 5 次的两倍分),且没有校正文档长度(长文档仅因字数多就更容易得高分)。

BM25 对这两点做修正:保留 IDF 对稀有词加权,同时引入词频饱和与长度归一化:

[Score(Q,D)=∑iIDFBM25(qi)⋅TF(qi,D)(k1+1)TF(qi,D)+k1(1−b+b⋅∣D∣avgdl)][ \text{Score}(Q,D)=\sum_i \text{IDF}_{\text{BM25}}(q_i)\cdot \frac{\text{TF}(q_i,D)(k_1+1)} {\text{TF}(q_i,D)+k_1\left(1-b+b\cdot\frac{|D|}{\text{avgdl}}\right)} ] [Score(Q,D)=i∑​IDFBM25​(qi​)⋅TF(qi​,D)+k1​(1−b+b⋅avgdl∣D∣​)TF(qi​,D)(k1​+1)​]

其中 (k1)(k_1)(k1​) 控制词频饱和速度,使重复出现的边际贡献递减;(b) 控制长度归一化强度,使不同长度文档更公平比较。一个词出现 10 次通常不会比出现 5 次贡献整整两倍;相同词频在较长文档中权重更低。

图 4:BM25 评分机制

稀疏检索的优点是精确:技术代码、人名、错误码等查询表现极佳;缺点是读不懂同义表达——搜「kitty」找不到只写了「cat」的文档。

5. 混合检索:两路互补

稠密懂语义但可能漏关键词(搜「HTTP-403」返回泛泛的「服务器错误」讨论),稀疏精确但读不懂同义词。混合检索的思路很简单:两路都跑,结果合并;难点在于如何把分布迥异的两组得分整合成有意义的排序。

图 5:混合检索与重排序流水线

典型流水线分三阶段:

  1. 并行检索:同时向稠密与稀疏引擎发查询,各自召回候选;
  2. 结果融合:把两路结果合成统一候选池。稠密余弦得分通常在 0–1,BM25 得分可能 0–几十,尺度与分布完全不同。常用倒数排名融合(RRF):完全抛开原始得分、只看排名,每个文档的综合得分是它在各路结果中排名的平滑倒数之和,score = Σ 1/(k + rank),k 常取 60,用于压低前几名之间的差距。RRF 简单稳健,但只利用排名信息,丢失原始得分中的相关性信号。
  3. 神经重排序:对融合候选池中排名靠前的 N 个(如前 50)逐一精排。它不是「补救 RRF 丢掉的得分」才存在——无论前一步怎么融合,重排序都值得加,因为它换用了更强的匹配范式。

双编码器与跨编码器的区别可以用招聘打比方:

  • 双编码器:查询与文档独立生成向量,靠向量运算比相似度,速度极快,适合从海量数据初筛;
  • 跨编码器:把查询与候选文档拼接成一段文字送入模型,逐词比对、输出综合相关性得分,慢得多,但判断更准。重排序器通常采用这种架构。

融合负责产生统一候选池,重排序负责在候选池上精排,两者不是替代关系。

6. 检索质量怎么量

调优多阶段流水线需要客观指标,最核心的三个都在带标注答案的测试集上计算:

指标直觉解释
recall@k包含正确答案的文档出现在前 k 个结果中的查询比例——「该找的找到了吗」
MRR每个查询取第一个相关文档排名的倒数,再对所有查询取平均——「找到得够不够靠前」
nDCG综合考虑所有相关文档的排名与相关程度,排名越靠后折扣越大——「整个排序列表的质量」

工业界还常说检索失败率:正确信息未出现在 top-20 结果中的查询比例。

严格说,上面定义的 recall@k 更接近命中率(hit rate / success@k):前 k 个结果里只要有一篇相关文档就算命中。学术上的 recall@k 指「相关文档被召回的比例」,一个查询有多篇相关文档时两者并不相等。跨来源比较时要留意口径。

7. 补记

RAG 的常见误区是把它当成「接一个向量库就完了」。实际上,分块决定检索的上限,嵌入决定语义覆盖,稀疏检索兜住精确匹配,重排序决定最终排序质量——任何一环短板都会让最终答案变差。

另一个经验是:先量检索,再调生成。如果正确文档根本没被召回,换更强的生成模型也无济于事;recall@k 与失败率应该作为 RAG 的第一组监控指标。

Logo

更多推荐