本文探讨了RAG系统中数据召回问题的排查与解决方案。作者发现多向量库存储导致不相关数据被召回，分析了文档质量问题和设计缺陷两个原因。提出采用两次召回策略：第一次高阈值召回并重排序，第二次在相关库中使用较低阈值召回。强调RAG系统需要持续优化调整，召回质量直接影响大模型表现。

---

“ 要想做好一个RAG系统，需要在实践中不断地优化和调整，很难做到一蹴而就。”

昨天遇到了一个小问题，就是在数据召回的时候有部分应该召回的数据但没有显示出来；所以不确定到底是因为数据本身没有被召回，还是被召回之后由于某种原因被过滤掉了。

因此，今天就查了一下这个问题产生的原因，然后就发现了一些问题；目前系统中，不同的数据是分在多个不同的向量库中，然后在召回的时候发现每个库中都可以召回数据，但理论上来说跟问题无关的库中应该找不到数据才对。

所以，就需要思考为什么会产生这种问题，这种现象说明了什么？

多库召回问题

抛开标量召回(传统的字符匹配方式)方式，在相似度召回过程中，是通过把问题向量化，然后通过向量计算的方式匹配更近似的数据，虽然向量计算的算法不同，但本质上是一样的。

所以，再回到今天这个问题，在使用相似度召回时，虽然不同库中的数据不一样；从理论上来说，在相似度计算时，其它库中的计算结果应该是与问题无关的。

但这里有个问题就是，一是可能由于我们前期文档处理的质量不好，导致进行相似度计算时出现一定的偏差，因为目前相似度召回的阈值设置的就比较低；第二个可能的原因就是，其它文档中也有与问题相关的内容，导致其数据被召回，这个产生的原因就是业务需求和设计有问题，导致文档无法完全做到逻辑隔离。

但既然问题已经产生了，那么就需要找到一个解决方案，面对这样的问题应该怎么处理？

我们都知道，相似度召回是RAG中非常重要的一个技术手段；但单纯的相似度召回很难达到我们要求的文档质量，因此一般情况下在相似度召回之后还需要对召回的文档进行rerank重排序，目的就是过滤掉其中相关性不高的文档。

因此，作者遇到这个问题之后就是采用先召回，后重排过滤的方式来剔除其它无关库中的数据；但由于不好控制阈值，因此还是有部分其它库中的数据被保留了下来。

所以，这里就有了一个难点也是问题点，怎么完全过滤掉无关文档的影响？

如果仅仅只是通过提高阈值的方式，会导致部门正确的文档被过滤掉，导致文档不足，影响结果；而阈值太低就无法完全避免以上问题。

所以，遇到这种问题完全通过技术手段好像很难实现；因此，我们只能换个思路从结构来解决这问题，虽然说这并不一定是一个好的解决方案。

简单来说就是，通过两次召回和排序的方式来解决这个问题；第一次使用高阈值对数据进行召回和重排序，找到其中最相关的几条数据。然后，再拿到这几条数据所在库表，之后再在这个库表中再次召回，而第二次召回的阈值相对可以放得低一点；这样通过两次召回的方式，就能尽量避免以上问题的发生，虽然说还无法完全避免。

总之，在RAG中文档召回的质量直接响应到大模型的表现；但影响召回率和准确率的原因又有很多，因此我们只能在具体的实践过程中对系统进行不断的调整和优化才可能达到我们想要的效果。

大模型未来如何发展？普通人能从中受益吗？

在科技日新月异的今天，大模型已经展现出了令人瞩目的能力，从编写代码到医疗诊断，再到自动驾驶，它们的应用领域日益广泛。那么，未来大模型将如何发展？普通人又能从中获得哪些益处呢？

通用人工智能（AGI）的曙光：未来，我们可能会见证通用人工智能（AGI）的出现，这是一种能够像人类一样思考的超级模型。它们有可能帮助人类解决气候变化、癌症等全球性难题。这样的发展将极大地推动科技进步，改善人类生活。

个人专属大模型的崛起：想象一下，未来的某一天，每个人的手机里都可能拥有一个私人AI助手。这个助手了解你的喜好，记得你的日程，甚至能模仿你的语气写邮件、回微信。这样的个性化服务将使我们的生活变得更加便捷。

脑机接口与大模型的融合：脑机接口技术的发展，使得大模型与人类的思维直接连接成为可能。未来，你可能只需戴上头盔，心中想到写一篇工作总结”，大模型就能将文字直接投影到屏幕上，实现真正的心想事成。

大模型的多领域应用：大模型就像一个超级智能的多面手，在各个领域都展现出了巨大的潜力和价值。随着技术的不断发展，相信未来大模型还会给我们带来更多的惊喜。赶紧把这篇文章分享给身边的朋友，一起感受大模型的魅力吧！

那么，如何学习AI大模型？

在一线互联网企业工作十余年里，我指导过不少同行后辈，帮助他们得到了学习和成长。我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑。因此，我坚持整理和分享各种AI大模型资料，包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频。

学习阶段包括：

1.大模型系统设计
从大模型系统设计入手，讲解大模型的主要方法。包括模型架构、训练过程、优化策略等，让读者对大模型有一个全面的认识。

2.大模型提示词工程
通过大模型提示词工程，从Prompts角度入手，更好发挥模型的作用。包括提示词的构造、优化、应用等，让读者学会如何更好地利用大模型。

3.大模型平台应用开发
借助阿里云PAI平台，构建电商领域虚拟试衣系统。从需求分析、方案设计、到具体实现，详细讲解如何利用大模型构建实际应用。

4.大模型知识库应用开发
以LangChain框架为例，构建物流行业咨询智能问答系统。包括知识库的构建、问答系统的设计、到实际应用，让读者了解如何利用大模型构建智能问答系统。

5.大模型微调开发
借助以大健康、新零售、新媒体领域，构建适合当前领域的大模型。包括微调的方法、技巧、到实际应用，让读者学会如何针对特定领域进行大模型的微调。

6.SD多模态大模型
以SD多模态大模型为主，搭建文生图小程序案例。从模型选择、到小程序的设计、到实际应用，让读者了解如何利用大模型构建多模态应用。

7.大模型平台应用与开发
通过星火大模型、文心大模型等成熟大模型，构建大模型行业应用。包括行业需求分析、方案设计、到实际应用，让读者了解如何利用大模型构建行业应用。

学成之后的收获👈

• 全栈工程实现能力：通过学习，你将掌握从前端到后端，从产品经理到设计，再到数据分析等一系列技能，实现全方位的技术提升。

• 解决实际项目需求：在大数据时代，企业和机构面临海量数据处理的需求。掌握大模型应用开发技能，将使你能够更准确地分析数据，更有效地做出决策，更好地应对各种实际项目挑战。

• AI应用开发实战技能：你将学习如何基于大模型和企业数据开发AI应用，包括理论掌握、GPU算力运用、硬件知识、LangChain开发框架应用，以及项目实战经验。此外，你还将学会如何进行Fine-tuning垂直训练大模型，包括数据准备、数据蒸馏和大模型部署等一站式技能。

• 提升编码能力：大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握将提升你的编码能力和分析能力，使你能够编写更高质量的代码。

学习资源📚

1. AI大模型学习路线图：为你提供清晰的学习路径，助你系统地掌握AI大模型知识。
2. 100套AI大模型商业化落地方案：学习如何将AI大模型技术应用于实际商业场景，实现技术的商业化价值。
3. 100集大模型视频教程：通过视频教程，你将更直观地学习大模型的技术细节和应用方法。
4. 200本大模型PDF书籍：丰富的书籍资源，供你深入阅读和研究，拓宽你的知识视野。
5. LLM面试题合集：准备面试，了解大模型领域的常见问题，提升你的面试通过率。
6. AI产品经理资源合集：为你提供AI产品经理的实用资源，帮助你更好地管理和推广AI产品。

👉获取方式： 😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】