检索增强生成（RAG）领域数据集综合评述

摘要

检索增强生成（Retrieval-Augmented Generation, RAG）作为连接大规模语言模型（LLM）与外部知识库的桥梁，已成为提升模型事实性、时效性和可解释性的关键技术。数据集作为推动RAG技术发展的基石，其设计与演进直接决定了模型评测的深度与广度。本文系统性地梳理了RAG领域的148个关键数据集，并提出一个包含六大主类（问答、事实验证、槽填充、多模态任务、专项应用、评估基准）及十个子类的分层分类体系。本文首先通过综合性表格对所有数据集进行全景式概览，随后深入剖析每个类别下的代表性数据集，探讨其任务设定、评测范式、规模特点及性能基准。通过横向与纵向对比，本文揭示了当前RAG数据集在复杂推理、领域适应性、多模态对齐和评测鲁棒性等方面的核心挑战。最后，本文总结了RAG数据集的发展趋势，如对齐更细粒度的评测维度、拥抱动态知识源以及向高风险专业领域渗透，并对未来数据集的构建方向，特别是在可解释性、因果推理和联合优化评测方面，提出了展望。

关键词：检索增强生成, 数据集, 评测基准, 多模态, 领域适应, 知识密集型任务

---

1. 引言

大规模语言模型（LLM）在自然语言处理领域取得了革命性进展，但其内在的知识局限性——即知识静态、易产生幻觉、更新成本高昂——限制了其在知识密集型任务中的应用。检索增强生成（RAG）范式（Lewis et al., 2020）应运而生，它通过在生成前从外部知识源（如维基百科、专业数据库）动态检索相关信息，为LLM提供实时、准确的上下文，从而显著缓解了上述问题。

RAG系统的性能高度依赖于其检索与生成两个核心模块的协同能力，而评估这种能力的优劣离不开高质量、多样化的数据集。一个精心设计的数据集不仅是衡量模型性能的标尺，更是驱动技术创新的引擎。随着RAG研究的深入，相关数据集也经历了从简单到复杂、从通用到专用、从单一模态到多模态的演变。早期的研究主要集中在开放域问答（Open-domain QA），如Natural Questions和TriviaQA，它们为RAG的初步发展奠定了基础。随后，为了评测模型更高级的认知能力，出现了需要多步推理的HotpotQA等数据集。同时，为了检验RAG在真实世界中的应用潜力，事实验证（FEVER）、医疗报告生成（MIMIC-CXR）、金融分析（MIT 15.401 course materials）等领域专属数据集不断涌现。近期，研究社区更是将目光投向了对RAG系统本身进行全面“体检”的评测基准，如RGB和ARES，它们从噪声鲁棒性、忠实度、上下文相关性等多个维度对RAG系统进行深度剖析。

本文旨在对当前RAG领域的关键数据集进行一次全面且系统的梳理与分析。我们首先提出一个层次化的分类体系，并在此基础上构建了一个囊括148个数据集的综合性分析表格。随后，我们将分章节详细探讨各类数据集的设计理念、核心挑战和研究价值。通过深入的对比分析，我们希望为相关研究人员提供一个清晰的数据集导航，揭示当前技术的瓶颈，并指明未来研究的潜在方向。

---

2. RAG数据集分类体系

为了系统地组织和理解RAG领域的众多数据集，我们构建了一个分层的分类体系。该体系以任务类型和应用领域为主要划分依据，共包含六个主类别和十个子类别。

RAG数据集多层次分类与深度分析

下表对本文涉及的148个数据集进行了全面分类与总结，旨在提供一个全景式的概览。

主类别	子类别	数据集名称	核心特点与任务	常用评估指标	主要挑战与研究焦点
问答	开放域QA	Natural Questions (NQ), TriviaQA (TQA), WebQuestions (WQ), SQuAD, PopQA	从大规模语料（如维基百科）中寻找并生成问题的精确答案。	EM, F1, ROUGE	检索长尾、罕见知识；处理复杂问题；长文本生成。
	领域特定QA	MedQA-USMLE, BioASQ, COVID-QA, Math Nation queries	针对医学、法律、数学等专业领域的问答，要求模型理解专业术语。	Accuracy, EM, F1, RadGraph F1	领域知识的有效表示与检索；专业推理能力；数据稀疏性。
	多跳QA	HotpotQA, 2WikiMultiHopQA, MuSiQue	需要整合多个文档或段落的信息才能回答问题，考验推理链构建能力。	EM, F1, Supporting Fact F1	证据链的完整性与准确性；跨文档信息整合；避免推理捷径。
事实验证	通用事实验证	FEVER, StrategyQA	判断给定声明相对于证据文本是“支持”、“反驳”还是“信息不足”。	Label Accuracy, F1	证据检索的召回率与精确率；处理模糊与矛盾信息；生成可解释的判断。
	领域特定事实验证	PubHealth, HoVer	专注于公共健康、科学等领域的声明验证，要求更高的专业性和严谨性。	Accuracy	应对领域术语；多步事实追踪；识别伪科学信息。
槽填充	-	KILT, zsRE, T-REx	从非结构化文本中抽取预定义的关系或属性（槽），用于知识库构建。	Accuracy, F1, KILT-AC	零样本/少样本关系抽取；处理复杂句式；实体链接的准确性。
多模态任务	视觉问答	VQA, MultimodalQA	结合图像和文本信息回答问题，考验跨模态理解与推理。	VQA Accuracy, EM, F1	视觉与文本特征的深度融合；避免“语言先验”导致的捷径学习；跨模态幻觉。
	多模态检索	WebQA	根据文本查询检索相关图像，或反之，要求建立跨模态语义联系。	BARTScore, Keyword F1, Recall	跨模态表示学习；处理图文不一致或弱相关的情况；多模态信息整合。
专项应用	医疗应用	MIMIC-CXR, CXR-PRO, British National Formulary 82	生成放射学报告、回答临床问题、提供药品信息等。	BERTScore, RadGraph F1, S_emb score	生成报告的临床准确性与流畅性；避免幻觉引用；保护病人隐私。
	技术领域	MITRE ATT&CK, LayerZero crypto dataset	分析网络攻击手法、回答加密货币项目问题，应用于高科技领域。	F1, Accuracy, Hallucination Rate	理解高度专业的术语和流程；应对知识快速迭代；保证答案时效性。
评估基准	通用RAG评估	RGB, WikiEval, RAGTruth, ARES, NoMIRACL	全面评估RAG系统的多维度能力，如噪声鲁棒性、拒绝能力、忠实度等。	Accuracy, Rejection Rate, Faithfulness, Context Relevance	设计全面的、可自动化的评估指标；构建多语言、多任务的评测集；检测细粒度幻觉。
	检索专项评估	BEIR, TREC-DL	专注于评估信息检索模块的性能，特别是在零样本（zero-shot）场景下。	nDCG@k, Recall@k	提升在不同领域和查询类型下的泛化能力；密集与稀疏检索的结合。

---

3. 各分类详细分析

3.1 问答（Question Answering）

问答是RAG技术最核心、最成熟的应用场景，也是评估其基础能力的主要试验场。该类别下的数据集旨在测试模型从海量文本中准确检索信息并生成人类可读答案的能力。根据问题的领域范围和推理复杂度，可进一步细分为开放域QA、领域特定QA和多跳QA。

3.1.1 开放域QA (Open-Domain QA)

开放域QA要求模型面对任何主题的问题，都能从一个庞大的、无特定领域的知识源（通常是维基百科）中找到答案。这类任务是RAG的“原生”应用场景，直接考验其信息检索的广度和生成的精确度。

• Natural Questions (NQ) 是最具代表性的数据集之一，由Google发布。它包含源自真实用户搜索查询的超过10万个问答对。其特点是问题形式自然，且答案形式多样，可能是长答案（段落）或短答案（实体列表）。在NQ上，初代RAG模型（RAG-Sequence）取得了44.5的EM（精确匹配）得分，这表明即使对于强大的RAG系统，要生成与标准答案完全一致的文本仍极具挑战。

• TriviaQA (TQA) 是另一个大规模数据集，包含超过9.5万个问答对，其问题由爱好者编写，风格更具挑战性。TQA的答案通常是单个实体，更侧重于事实性知识的精确检索。RAG-Sequence在该数据集上的EM得分为56.8，而在其维基百科子集上则高达68.0，这显示了知识源质量对性能的直接影响。

• WebQuestions (WQ) 和 CuratedTrec (CT) 规模相对较小，但问题类型独特。WQ源自Freebase，问题通常涉及复杂实体关系；CT的答案则以正则表达式形式给出，对生成格式的精确性要求极高。RAG在这些数据集上的表现（WQ EM 45.2, CT EM 52.2）说明了其在处理结构化查询和严格格式要求方面的潜力与局限。

• PopQA 是一个较新的数据集，专注于评估模型对不同流行度实体的知识掌握程度。它通过1.4万个问题揭示了LLM普遍存在的“知识偏见”：即对流行实体的了解远胜于长尾实体。这为RAG研究提出了新方向——如何通过检索来弥补模型对低频知识的遗忘。

下表总结了部分代表性的开放域QA数据集：

数据集名称	规模 (训练/开发/测试)	核心任务	关键指标	代表性性能	主要挑战
Natural Questions (NQ)	79k/8.7k/3.6k	真实用户查询问答	EM	RAG-Sequence: 44.5	长答案生成，答案定位
TriviaQA (TQA)	78k/8.8k/11k	知识问答挑战	EM	RAG-Sequence: 56.8	处理风格化、复杂问题
WebQuestions (WQ)	3.4k/0.3k/2k	基于知识库的问答	EM	RAG-Sequence: 45.2	实体关系理解与解析
SQuAD	~20k passages	阅读理解式问答	EM, F1	RAG (Ours): 40.02	依赖给定上下文，考验精准定位
PopQA	14k total	流行度分级的问答	Accuracy	-	长尾、低频知识检索

3.1.2 领域特定QA (Domain-Specific QA)

当RAG应用于医疗、金融、法律等专业领域时，模型不仅需要检索信息，还必须理解复杂的领域术语和推理逻辑。领域特定QA数据集正是为了评估RAG在这种高风险、高价值场景下的表现而设计的。

• 医疗领域是RAG应用的热点。MedQA-USMLE 包含来自美国执业医师资格考试的多项选择题，覆盖广泛的医学科目。评测显示，结合了医疗知识库的MKRAG模型准确率达到48.54%，显著优于未增强的基线模型（44.46%），证明了检索对于专业问答的价值。BioASQ 则侧重于生物医学领域的问答，其“是/否”问题考验模型对科研文献的精确理解。COVID-QA 则是一个动态、高时效性的数据集，在疫情期间被用于评测模型对最新科研进展的追踪能力。

• 教育领域同样是RAG的重要应用场景。Math Nation queries 收集了中学生在数学平台上的真实提问，用于评估RAG系统在解释数学概念和解题步骤时的表现。研究发现，虽然RAG生成的答案更受学生青睐，但过度“忠于”教材的答案反而效果不佳，这揭示了在教育场景中，生成内容的启发性与事实性需要取得平衡。

这些数据集的共同挑战在于：1）高质量标注数据的稀缺性；2）领域知识图谱或文本库的构建成本高昂；3）评估标准需要领域专家的参与，自动化评估难度大。

3.1.3 多跳QA (Multi-Hop QA)

多跳QA是问答任务中最具挑战性的分支之一，它要求模型不能通过单个文档或段落找到答案，而必须像侦探一样，通过一条推理链，整合来自多个信息源的线索。

• HotpotQA 是多跳QA的代表性数据集，包含11.3万个问答对。其设计精巧，每个问题都需要结合两个维基百科段落才能回答。HotpotQA不仅要求模型给出答案，还要求提供支持答案的证据句（Supporting Facts），这为评估RAG系统的可解释性提供了可能。

• 2WikiMultiHopQA 和 MuSiQue 进一步提升了推理的复杂度。MuSiQue的问题由单跳问题组合而成，平均需要2到4步推理，这极大地考验了RAG系统在迭代检索和信息整合方面的能力。评测表明，现有模型在构建完整且准确的推理链方面仍存在显著不足，常常在中间步骤丢失关键信息。

多跳QA推动RAG技术从“信息查找器”向“知识推理器”转变。当前的研究焦点包括：如何设计更有效的多步检索策略（如图搜索、迭代检索）、如何对检索到的多个信息片段进行有效融合与推理，以及如何避免被无关或误导性信息干扰。

3.2 事实验证（Fact Verification）

事实验证任务要求模型判断一个给定的声明（Claim）是否被一组证据（Evidence）所支持。在RAG框架下，这通常分为两步：首先，检索相关的证据文本；然后，基于检索到的证据判断声明的真伪。在假新闻和错误信息泛滥的今天，这项技术尤为重要。

3.2.1 通用事实验证

这类数据集关注对一般性知识声明的验证，知识源通常是维基百科。

• FEVER (Fact Extraction and VERification) 是该领域最大、最常用的数据集，包含18.5万个人工标注的声明。每个声明被分为“支持”（Supported）、“反驳”（Refuted）或“信息不足”（Not Enough Info）三类。FEVER的挑战在于，许多声明需要微妙的推理才能判断，且“信息不足”类别要求模型有良好的“拒绝回答”能力。评测显示，RAG在FEVER上的准确率可达90%左右，但性能瓶颈往往出现在证据检索阶段，即无法找到足够充分或精确的证据。

• StrategyQA 则引入了更复杂的推理。它的问题形式是“是/否”问答，但需要一个隐含的、多步骤的推理策略才能得出结论。例如，“鲨鱼能在淡水中生存吗？”需要模型先检索鲨鱼的生理特性，再检索淡水环境的特点，最后进行综合判断。

3.2.2 领域特定事实验证

与领域特定QA类似，某些领域的声明验证需要专门的知识和更严格的标准。

• PubHealth 是一个专注于公共卫生领域的英文事实验证数据集。其声明来自互联网，涉及疫苗、流行病、健康建议等，验证这些声明需要准确的医学知识。该数据集对于训练能对抗医疗谣言的RAG系统至关重要。

• HoVer (Hop-based Verification) 则是一个多跳事实验证数据集，其声明需要通过连接多个文档中的事实才能验证，结合了多跳推理和事实验证的双重挑战。

下表对比了几个事实验证数据集：

数据集名称	规模	核心任务	关键指标	代表性性能	主要挑战
FEVER	185k 声明	三分类验证（支持/反驳/信息不足）	Label Accuracy	RAG on FEVER-2: 89.5%	证据检索的召回率，处理“信息不足”的情况
StrategyQA	2.7k 问题	需要隐式推理的是/否问题验证	Accuracy	IAG-GPT: 72.9%	构建隐含的推理策略链
PubHealth	未指定	公共卫生领域声明验证	Accuracy	SELF-RAG (13B): 74.5%	应对专业术语，识别伪科学信息
HoVer	未指定	多跳事实验证	-	-	跨文档追踪事实链，整合证据

事实验证任务对RAG系统的“忠实度”和“审慎度”提出了高要求。未来的研究方向可能包括：1）生成可解释的验证路径，向用户展示模型是如何得出结论的；2) 提升对模糊、矛盾信息的处理能力；3) 发展能够主动识别并验证网络热点声明的RAG系统。

3.3 槽填充（Slot Filling）

槽填充是信息抽取（IE）的核心任务之一，旨在从非结构化文本中识别并抽取预定义的实体关系，并用其填充知识库（KB）中的“槽”（Slots）。在RAG框架下，模型可以检索相关上下文来帮助识别和验证这些关系，特别是在零样本（Zero-shot）或少样本（Few-shot）场景下。

• KILT (Knowledge Intensive Language Tasks) 是一个统一了多个知识密集型任务的基准，其中就包括了槽填充。它将不同任务（如QA、事实验证、槽填充）统一映射到维基百科知识源上，提供了一个跨任务评测RAG模型的平台。

• zsRE (Zero-shot Relation Extraction) 和 T-REx 是两个被广泛用于评测槽填充能力的数据集，它们都包含在KILT基准中。zsRE 专注于零样本场景，即模型需要抽取在训练阶段从未见过的关系类型。这极大地考验了RAG模型的泛化能力。评测显示，结合了检索的KGIo模型在zsRE上的F1分数达到了74.47%。T-REx 则是一个规模更大的数据集，包含数百万个从维基百科文本和DBpedia三元组对齐而来的实例，用于评测在有监督环境下的关系抽取性能。KGIo模型在T-REx上的F1分数高达81.31%，显示了RAG在利用大规模上下文进行精准信息抽取方面的强大能力。

数据集名称	规模 (训练/开发/测试)	核心任务	关键指标	代表性性能 (F1)	主要挑战
KILT	-	统一的知识密集型任务基准	Accuracy, F1, KILT-AC, KILT-F1	-	跨任务的统一建模与评测
zsRE	147k/3.7k/4.9k	零样本关系抽取	Accuracy, F1	KGIo: 74.47%	对新关系类型的泛化能力
T-REx	2.2M/5k/5k	大规模关系抽取	Accuracy, F1	KGIo: 81.31%	处理海量数据，实体链接准确性

槽填充任务对于自动化构建和扩展知识图谱至关重要。RAG的应用使得模型可以动态利用最新信息来填充知识库，而不是仅仅依赖于静态的训练数据。未来的挑战在于如何处理更复杂的关系（如N元关系）、如何从多模态源（如包含表格和图片的网页）中抽取信息，以及如何保证抽取结果的一致性和准确性。

3.4 多模态任务（Multimodal Tasks）

真实世界的信息往往以多种模态（文本、图像、声音等）并存。多模态任务要求RAG系统能够理解和整合来自不同模态的信息，这极大地扩展了RAG的应用范围。

3.4.1 视觉问答 (Visual Question Answering, VQA)

VQA是多模态领域的经典任务，要求模型根据一张图片和相关问题生成答案。在RAG框架下，模型不仅可以利用图像信息，还可以检索相关的文本知识来辅助回答。

• VQA v2 是该领域的标准数据集，包含超过40万个图像-问题-答案三元组。研究发现，单纯的VQA模型容易学习到语言偏见（例如，回答“网球”时倾向于猜测颜色是“黄色”）。引入RAG，通过检索关于图像内容的外部文本知识，可以有效缓解这一问题，促使模型做出基于视觉和事实的综合判断。

• MultimodalQA 更进一步，其问题可能需要同时从表格、文本和图像中寻找答案。其中一个子集专注于文本和图像，这直接考验了多模态RAG系统。评测显示，MuRAG模型在该数据集上的表现比传统模型提升了10-20%，证明了联合检索文本和图像的有效性。

3.4.2 多模态检索

这类任务要求模型能够根据一种模态的查询，检索另一种模态的相关内容。

• WebQA 是一个多跳、多模态的问答数据集。回答一个问题可能需要1-2张图片和1-2段文本。这要求RAG系统具备强大的跨模态检索能力，能够理解文本查询背后的视觉意图，或者根据图像内容找到相关的文字描述。MuRAG模型在该数据集上表现出色，超越了传统的视觉语言模型（VLP），显示了检索增强在处理复杂多模态场景中的优势。

数据集名称	规模	核心任务	关键指标	代表性性能	主要挑战
VQA	400k 三元组	基于图像和问题的回答	VQA Accuracy	Pre-training: >72%	视觉与文本的深度融合，避免语言偏见
MultimodalQA	2.1k 图像 / 7.4k 文本 (训练)	整合多模态源回答问题	EM, F1	MuRAG: 提升10+% EM	跨模态信息对齐与推理
WebQA	18k 图像 / 17k 文本 (训练)	多跳多模态问答	BARTScore, Keyword F1	MuRAG: 提升10-20%	跨模态检索，多步推理

多模态RAG是当前的研究前沿。除了图文结合，未来还可能扩展到视频、音频等更多模态。核心挑战在于：1）如何学习到有效的跨模态联合表示；2）如何设计能够处理不同模态检索结果的融合机制；3）如何评估多模态生成内容的质量，特别是在避免“跨模态幻觉”（如描述了图片中不存在的物体）方面。LAION, ConceptualCaption (CC) 等大规模图文对数据集为预训练强大的多模态RAG模型提供了基础。

3.5 专项应用（Specialized Applications）

随着RAG技术的成熟，其应用逐渐从通用场景渗透到高价值、高风险的专业领域。这些专项应用数据集往往与具体行业问题紧密相关，对模型的可靠性、安全性和专业性提出了极高要求。

3.5.1 医疗应用

医疗是RAG展现巨大潜力的领域，相关应用包括辅助诊疗、医学报告生成、医学教育等。

• 放射学报告生成是一个典型应用。MIMIC-CXR 是一个大型胸部X光片及其报告的公开数据库。然而，直接用其训练的模型容易产生“幻觉引用”（即在报告中提及不存在的过往病历）。为了解决这个问题，研究者开发了CXR-PRO数据集，它通过移除报告中的先验引用来迫使模型更关注当前影像。评测显示，结合了检索相似病例报告的RAG方法，在BERTScore等指标上比传统方法提升超过25%，生成的报告更准确、更安全。MS-CXR 则提供更精细的短语-边界框标注，用于评估生成文本的定位准确性。

• 医学教育与临床决策也是重要方向。Kumar and Clark Clinical Medicine 10th Edition 和 British National Formulary 82 这两个数据集，分别是大型临床医学教科书和国家处方集。研究者将其作为RAG系统的知识库，用于回答医学生或医生的专业问题。实验表明，基于这些专业文本的RAG系统（docGPT）生成的答案比通用聊天模型（ChatGPT）更准确、更有针对性。

3.5.2 技术领域

除了医疗，RAG在金融、网络安全、软件工程等技术领域也开始得到应用。

• 网络安全：MITRE ATT&CK 是一个描述网络攻击战术、技术和流程（TTP）的知识库。研究人员利用该数据集，训练RAG系统来分析安全事件报告，自动识别其中描述的攻击手法。评测显示，RAG方法（F1分数0.68）显著优于微调的传统模型（F1分数0.54），在提供精确URL作为检索来源的理想情况下，F1分数甚至可以达到0.95。

• 加密货币：LayerZero cryptocurrency bridging project dataset 是一个针对特定加密货币项目构建的知识库。由于该领域知识更新极快，远超LLM的训练截止日期，RAG成为提供实时信息的唯一可行方案。在一个包含100个问题的测试集上，RAG的准确率达到了81%，远超无法回答新问题的基础模型。

专项应用数据集的特点是：1）高度领域化，需要专业知识进行构建和标注；2）强调时效性，知识需要持续更新；3）对幻觉的容忍度极低，可靠性是第一要素。未来，我们将看到更多针对特定行业（如法律、制造、航空）的RAG数据集和应用出现。

3.6 评估基准（Evaluation & Benchmarking）

随着RAG模型和应用的多样化，如何全面、公平、可复现地评估一个RAG系统变得至关重要。为此，研究社区开发了一系列专门的评估基准，它们不再局限于单一任务的最终性能，而是深入剖析RAG系统的内部机制和各项核心能力。

3.6.1 通用RAG评估

这类基准旨在对RAG系统的综合能力进行“全面体检”。

• Retrieval-Augmented Generation Benchmark (RGB) 是一个中英双语基准，专门设计用于评估RAG的四项基本能力：噪声鲁棒性（检索到无关信息时的表现）、负面拒绝（当知识库中没有答案时能否正确拒绝）、信息整合（整合多个检索片段的能力）和反事实鲁棒性（识别并纠正反事实信息的能力）。实验结果揭示了当前LLM的普遍短板：例如，在信息整合任务上，即使没有噪声，顶级模型的准确率也仅在60-70%之间。

• WikiEval 和 RAGAS 则专注于评估生成答案的质量维度。它们引入了人工标注的忠实度（Faithfulness，答案是否忠于检索到的上下文）、答案相关性（Answer Relevance）和上下文相关性（Context Relevance）。RAGAS框架甚至尝试使用LLM来自动化这些维度的评估，其评估结果与人类判断的一致性在忠实度上高达0.95。

• RAGTruth 是一个专门为分析“词级别幻觉”而构建的语料库。它包含近1.8万个由RAG生成的回答，并进行了细粒度的幻觉标注。这为开发能够检测和缓解幻觉的RAG模型提供了宝贵的数据。

• ARES 框架则通过程序化方式生成大量评测样本，来自动化地评估RAG系统的不同维度，其在多个数据集上的评测结果与人类判断高度相关（Kendall’s tau > 0.9），极大地提升了RAG评测的效率和覆盖面。

3.6.2 检索专项评估

RAG系统的性能上限在很大程度上取决于其检索模块的质量。因此，也有一系列基准专注于评估信息检索（IR）组件。

• BEIR (Benchmarking IR) 是一个异构的、零样本信息检索基准，包含来自不同领域的18个数据集（如生物、新闻、论辩等）。它旨在评估检索模型在未知领域的泛化能力，这对于开箱即用的RAG系统至关重要。

• TREC-DL 是由Text REtrieval Conference (TREC) 组织的深度学习评测任务，提供了大规模（880万文档）的测试集，用于评估最前沿的密集检索（Dense Retrieval）模型。GAR-meets-RAG等新范式在此类基准上取得了领先成绩。

这些评估基准的出现，标志着RAG研究正在从“能用”走向“好用”和“可靠”。未来的评测将更加细粒度、多维度、自动化，并且会更关注RAG系统的鲁棒性、公平性和安全性。

---

4. 横向与纵向对比分析

对RAG数据集进行多维度对比，可以更清晰地揭示该领域的发展脉络、技术瓶颈和未来趋势。

4.1 横向对比：任务类型与评测范式

不同类型的RAG任务在目标、挑战和评估方式上存在显著差异。

类别	核心目标	主要挑战	评估重心	代表性指标
问答 (QA)	提供精确答案	知识广度与推理深度	答案的准确性	EM, F1, Accuracy
事实验证	判断声明真伪	证据的充分性与推理的严谨性	判断的正确性与可解释性	Label Accuracy
多模态	理解与整合跨模态信息	模态对齐与融合	跨模态理解与生成质量	VQA Acc, BARTScore
专项应用	解决领域特定问题	领域知识的精确性与时效性	任务的实用性与可靠性	BERTScore, Domain-specific F1
评估基准	剖析RAG系统能力	评估维度的全面性与公平性	系统的鲁棒性、忠实度、效率	Faithfulness, Rejection Rate, nDCG

从上表可以看出，RAG任务的评估范式正从单一的“答案正确性”向一个更加立体的评估空间演进。对于开放域QA，EM/F1是黄金标准；而对于专项应用如医疗报告生成，BERTScore和RadGraph F1等更关注语义相似度和临床实体覆盖度的指标则更为重要；评估基准的出现，更是引入了如忠实度、相关性等一系列全新的“过程导向”指标。

选型策略建议：

• 基础RAG模型研究：应优先选择NQ, TQA 和 HotpotQA 的组合，以全面评估模型的通用检索、复杂推理能力。
• 垂直领域应用开发：需聚焦于对应的领域数据集，如医疗领域的MedQA-USMLE和MIMIC-CXR。
• 多模态系统研发：应在VQA, WebQA等数据集上进行测试，以验证跨模态处理能力。
• RAG系统鲁棒性与可靠性优化：强烈建议使用RGB, ARES或RAGTruth进行深度诊断。

4.2 纵向对比：数据集的演进趋势

回顾RAG数据集的发展历程，可以观察到以下几个明显的演进趋势：

1. 从简单到复杂：早期的QA数据集（如SQuAD）大多是单跳、依赖给定上下文的。随后，HotpotQA等引入了多跳推理，StrategyQA要求更深层次的隐式推理，HoVer则将多跳与事实验证结合。这反映了研究社区对模型认知能力要求的不断提升。

2. 从通用到专用：最初，维基百科是RAG的“唯一”知识源。现在，我们看到了大量针对特定领域的语料库，如医学教科书（Kumar and Clark）、网络安全知识库（MITRE ATT&CK）、甚至单一项目文档（LayerZero）。这表明RAG正从学术研究走向产业落地。

3. 从静态到动态：大多数数据集是静态的。但COVID-QA的出现，以及对加密货币等快速变化领域的关注，预示着未来可能出现更多动态更新的数据集，以评测RAG系统的“终身学习”和“实时反应”能力。

4. 从文本到多模态：VQA、WebQA等数据集的出现，将RAG的战场从纯文本扩展到了图文世界。这不仅是模态的增加，更是对模型信息整合能力的根本性挑战。

5. 从“黑盒”到“白盒”评估：早期的评估只关心最终答案。而RGB、ARES等新一代基准则试图打开RAG的“黑匣子”，分别评估检索、生成以及两者交互的各个环节。对“忠实度”、“幻觉”的关注，反映了社区对模型可靠性和可信度的日益重视。

---

5. 总结与展望

本文对检索增强生成（RAG）领域的148个关键数据集进行了全面梳理、分类和深度分析。通过构建一个六大类的分层分类体系，我们系统地展示了RAG数据集从基础问答向复杂推理、多模态融合、专项应用及深度评估基准演进的全景。

核心发现：

• 任务多样化：RAG的应用场景已远超开放域问答，深入到事实验证、医疗、金融等多个知识密集型领域。
• 评估深度化：评估范式正从关注答案准确性的单一维度，转向涵盖检索质量、生成忠实度、系统鲁棒性等在内的多维立体评估。
• 挑战持续存在：尽管取得了巨大进展，但RAG系统在处理长尾知识、构建复杂推理链、实现深度多模态对齐以及根除内容幻觉等方面仍面临严峻挑战。

未来展望：
展望未来，RAG数据集的构建将朝着更精细、更动态、更具挑战性的方向发展。我们预见以下几个关键趋势：

1. 可解释性与因果推理数据集：未来的数据集将不仅要求模型给出正确答案，更要求其提供清晰、逻辑严谨的推理路径。包含因果关系标注的数据集（如StrategyQA的扩展）将成为评估模型高阶认知能力的关键。

2. 动态与交互式基准：为了模拟真实世界知识不断更新的特性，需要构建能够动态注入新知识、淘汰旧知识的评测基准。交互式数据集，即允许模型通过提问来澄清信息或主动探索知识库，也将是重要的研究方向。

3. 高风险领域与安全评测：随着RAG在医疗、法律、金融等领域的应用加深，专门用于评估其安全性、公平性和隐私保护能力的数据集将变得至关重要。例如，评测模型是否会泄露个人信息，或者是否会生成带有偏见的法律或医疗建议。

4. 检索-生成联合优化基准：当前多数评测仍将检索和生成分开评估。未来的基准需要更好地评估这两个模块的协同效应，例如，一个“次优”的检索结果是否能通过强大的生成模块进行“纠错”和“补偿”，以及如何量化这种协同作用。

总之，数据集是RAG研究的生命线。通过构建更具前瞻性和挑战性的数据集，我们才能不断推动RAG技术向着更智能、更可靠、更值得信赖的未来迈进。