DIVER框架是一种推理驱动的信息检索系统,专为解决"推理密集型"检索难题设计。它通过文档预处理、查询扩展、推理定制检索和混合式重排序四个阶段,显著提升复杂查询的检索效果。该框架在BRIGHT基准测试中得分45.8,荣登榜首,远超其他先进模型。代码和模型已开源,为开发者提供了强大的检索解决方案。

在当前由大语言模型(LLM)驱动的技术范式中,检索增强生成(RAG)已成为提升模型知识能力与缓解「幻觉」的核心技术。现有的检索基准大多基于简单的信息检索查询,通常基于关键词或语义匹配就能找到相关信息。然而,许多复杂的现实世界查询需要深入推理才能识别相关文档,超出了表面形式匹配的范围。

为此,学术界提出了BRIGHT——首个需要密集推理才能检索相关文档的基准测试。它包含12个数据集,涵盖经济学、心理学、数学和编程等领域。实验表明,即使是最先进的检索模型在BRIGHT上的表现也很差。例如,MTEB排行榜上得分最高的模型,其nDCG@10得分为59.0,但在BRIGHT上仅得到18.3。

榜单链接:https://brightbenchmark.github.io/

例子:一个需要推理的复杂地球科学问题

查询:人类活动如何影响气候系统?

推理:这个问题需要理解气候变化的机制,特别是人类活动(如森林砍伐和城市化)对气候的影响。需要找到解释这些机制的文档。

相关文档:解释森林砍伐和城市化如何导致温室气体排放增加、城市热岛效应和自然水循环变化的文档。

图1. 现有的检索基准主要关注关键词的检索(第1级)或语义检索(第2级)。BRIGHT引入第3级检索,查询和文档的相关性需要密集推理来确定。

针对这一技术挑战,实验室和蚂蚁集团提出了 DIVER(Deep reasonIng retrieVal and rERanking) 框架,旨在解决「推理密集型」(Reasoning-Intensive)场景下的信息检索难题。

  • 论文标题:DIVER: A Multi-Stage Approach for Reasoning-intensive Information Retrieval
  • 技术报告:https://arxiv.org/pdf/2508.07995
  • 代码与模型开源地址:
  • https://github.com/AQ-MedAI/DIVER
  • https://huggingface.co/AQ-MedAI/DIVER-Retriever-4B

目前,DIVER 框架在 BRIGHT 排行榜上得分 45.8,于8月27日荣登第一,充分验证了其技术的领先性。

DIVER:推理驱动式检索系统

DIVER 是一套推理驱动式的检索框架,其将复杂的检索任务分解为四个阶段,主要为 DIVER-DChunk、DIVER-QExpand、DIVER-Retriever 和 DIVER-RERANK。

1

文档预处理(DIVER-DChunk)

高质量的知识库是有效检索的前提。DIVER 首先对原始文档进行「净化」和「重组」。它清除文本中的噪声(如无关的 HTML 标签、格式错误),并利用语义理解技术将过长的文档智能切分为逻辑连贯、大小适中的「知识块」。

2

查询扩展(DIVER-QExpand)

用户的原始问题可能不够精确,DIVER 采用了一种与文档「互动」的迭代式查询扩展策略。当接收到用户的初始查询后,系统并非立即进行检索,而是利用一个强大的语言模型对查询进行迭代式的「精炼」和「扩展」。模型会分析初始查询,并结合初步检索到的少量文档,生成更明确的推理路径和所需证据的描述,然后将这些信息补充回原始查询中。

这个过程会重复进行,形成一个反馈循环,使查询的意图越来越清晰、精准,引导系统走向正确的答案方向。

3

专为推理定制的检索(DIVER-Retriever)

有了经过「思考」的查询,DIVER 会启用一个经过特殊训练的检索模型。这个模型的独特之处在于其训练数据:

1. 合成的推理数据:在医疗诊断推导和数学定理证明等复杂推理领域,作者构建了带有逻辑链标注的合成数据集。这些数据要求模型不仅要匹配关键词,更要学习隐含的逻辑关联性,如症状 - 病理的因果推断或数学命题的蕴涵关系。

2.「困难负样本」(Hard Negatives):训练中包含了大量与正确答案表面相似但实际错误的「陷阱」样本。这迫使模型不仅要看「像不像」,更要理解「是不是」,从而具备了极强的辨别能力。设计了三级负样本筛选策略:

  • 表层相似:保持词项重叠但逻辑矛盾的样本(如「糖尿病胰岛素抵抗」vs「糖尿病胰岛素分泌过剩」)
  • 结构仿造:模仿正确推理路径但包含隐性谬误的样本
  • 语义对抗:通过语言模型生成的强干扰项

3. 基于难负样本采样的对比学习:通过引入对比学习框架,模型将正确答案与这些高难负样本同时进行对比训练。模型被迫聚焦于两者间微妙差异,从而提升了对复杂推理过程中的关键信息识别能力和鲁棒性。

通过这种方式训练出的检索器,能够精准地从海量信息中捕获到那些真正支撑推理链条的关键证据。

4

混合式重排序(Reranking)

最后,初步检索出的文档列表会进入重排序阶段。DIVER 巧妙地结合了两种策略:**逐点排序(Pointwise)策略和列表排序(Listwise)**策略。这种「局部精调」与「全局统筹」相结合的混合模式,确保了呈现给用户的文档列表既有高质量的个体,又有最优的整体顺序。


如何系统学习掌握AI大模型?

AI大模型作为人工智能领域的重要技术突破,正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口,掌握AI大模型的知识和技能将变得越来越重要。

学习AI大模型是一个系统的过程,需要从基础开始,逐步深入到更高级的技术。

这里给大家精心整理了一份全面的AI大模型学习资源,包括:AI大模型全套学习路线图(从入门到实战)、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等,资料免费分享

1. 成长路线图&学习规划

要学习一门新的技术,作为新手一定要先学习成长路线图方向不对,努力白费

这里,我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。

在这里插入图片描述

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的,我们精选了一系列深入探讨大模型技术的书籍和学习文档,它们由领域内的顶尖专家撰写,内容全面、深入、详尽,为你学习大模型提供坚实的理论基础(书籍含电子版PDF)

在这里插入图片描述

3. 大模型视频教程

对于很多自学或者没有基础的同学来说,书籍这些纯文字类的学习教材会觉得比较晦涩难以理解,因此,我们提供了丰富的大模型视频教程,以动态、形象的方式展示技术概念,帮助你更快、更轻松地掌握核心知识

在这里插入图片描述

4. 大模型行业报告

行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估,以了解哪些行业更适合引入大模型的技术和应用,以及在哪些方面可以发挥大模型的优势。

在这里插入图片描述

5. 大模型项目实战

学以致用 ,当你的理论知识积累到一定程度,就需要通过项目实战,在实际操作中检验和巩固你所学到的知识,同时为你找工作和职业发展打下坚实的基础。

在这里插入图片描述

6. 大模型面试题

面试不仅是技术的较量,更需要充分的准备。

在你已经掌握了大模型技术之后,就需要开始准备面试,我们将提供精心整理的大模型面试题库,涵盖当前面试中可能遇到的各种技术问题,让你在面试中游刃有余。

在这里插入图片描述

全套的AI大模型学习资源已经整理打包,有需要的小伙伴可以微信扫描下方CSDN官方认证二维码,免费领取【保证100%免费

更多推荐