RAGGym框架的提出是为了优化RAG在multi-hop question answer中的表现。主要使用的方法是将查询和回答视为查询代理的过程，然后通过基于马尔科夫链的奖励机制，通过微调等方法优化这个步骤。

我的理解是，不同的管道对pdf等document的处理方式不同，前者是提取文字，然后分为chunk，然后进行嵌入；我们通过对两种管道k值的大费周章的动态确定，就是为了在下一步骤量化地统一对“有关”的定义，从而协同地确定真正与query相关的嵌入。在此之前，相关工作主要有普通的基于文本的RAG和对单张图像进行理解和问答的VQA模型，但是前者无法充分考虑文档中的多模态内容。传统的方法是确定数量，可能会

第一阶段，将指令和文档输入一个我们微调好的生成CoT的模型，以生成尽可能准确的CoT形式的总结。不同于直接的RAG，经过refine的RAG模型应该经历以下过程：首先将q（query）和检索到的D（document）一起输入refine模型，生成精炼知识y，然后将y和q一起整合，作为新的query输入LLM生成答案。首先，我们的目标是训练出一个这样的模型，输入原始查询和和所有文档，输出CoT形式的