摘要：AI领域涌现出多个实用开源项目，简化开发流程。SimAI提供拖放式智能体构建；TransformerLab支持本地模型训练；RAGFlow专注企业级文档处理；AutoAgent实现无代码智能体创建；LLaMA-Factory简化模型微调；AnythingLLM整合多种AI功能。这些工具覆盖智能体开发、RAG、微调等场景，部分支持本地运行，适合不同层次的开发者需求。

然后，它使用专门的提示来指导我们强大的推理大语言模型将这些信息综合成一个全面的、多段落的答案，其中包括引用，从而成功地完成我们的研究过程。要解决我们的查询难题，我们的智能体需要查找有关AMD AI芯片战略的最新新闻（文件提交后，2024年发布的）。让我们从检索节点开始，该节点用于搜索我们内部的10-K文档。它唯一的任务是调用我们的planner_agent，并填充我们plan字段中的RAGStat

然后，它使用专门的提示来指导我们强大的推理大语言模型将这些信息综合成一个全面的、多段落的答案，其中包括引用，从而成功地完成我们的研究过程。要解决我们的查询难题，我们的智能体需要查找有关AMD AI芯片战略的最新新闻（文件提交后，2024年发布的）。让我们从检索节点开始，该节点用于搜索我们内部的10-K文档。它唯一的任务是调用我们的planner_agent，并填充我们plan字段中的RAGStat

所以，基本上，我们要构建一个函数，该函数接收我们检索到的10篇文档，并使用交叉编码器模型为每篇文档赋予一个精确的相关性得分。我们将使用sentence-transformers库中的一个小型但非常有效的模型，这在我们的配置中已经指定。此函数的输出将是一个简短、简洁且高度相关的文档列表，这是我们下游代理的理想上下文。这个高级向量存储现在包含与我们的基线相同的文本，但每个嵌入的文本块都标记了其章节标题

所以，基本上，我们要构建一个函数，该函数接收我们检索到的10篇文档，并使用交叉编码器模型为每篇文档赋予一个精确的相关性得分。我们将使用sentence-transformers库中的一个小型但非常有效的模型，这在我们的配置中已经指定。此函数的输出将是一个简短、简洁且高度相关的文档列表，这是我们下游代理的理想上下文。这个高级向量存储现在包含与我们的基线相同的文本，但每个嵌入的文本块都标记了其章节标题

这是我们的系统从简单的数据获取器跃升为真正的推理引擎的地方。我们的代理不会天真地将用户的复杂查询视为单一搜索，而是会先暂停、思考，然后构建一个详细的、循序渐进的研究策略。我们为它提供了三条信息来开展工作：简单的子问题、我们的规划器已经确定的关键词，以及来自之前任何研究步骤的过往上下文。我们将构建一个由大语言模型驱动的智能体，其唯一任务是将用户的查询分解为结构化的计划对象，决定每一步使用何种工具。这

这是我们的系统从简单的数据获取器跃升为真正的推理引擎的地方。我们的代理不会天真地将用户的复杂查询视为单一搜索，而是会先暂停、思考，然后构建一个详细的、循序渐进的研究策略。我们为它提供了三条信息来开展工作：简单的子问题、我们的规划器已经确定的关键词，以及来自之前任何研究步骤的过往上下文。我们将构建一个由大语言模型驱动的智能体，其唯一任务是将用户的查询分解为结构化的计划对象，决定每一步使用何种工具。这

在我们开始编写深度检索增强生成（Deep RAG）管道的代码之前，我们需要先打好坚实的基础，因为生产级的AI系统不仅关乎最终的算法，还关乎我们在设置过程中所做的深思熟虑的选择。当我们开始开发一个管道并对其进行反复试验时，以普通字典格式定义我们的配置会更好，因为在后续管道变得复杂时，我们可以简单地参考这个字典来更改配置，并查看其对整体性能的影响。为了测试我们实现的管道并将其与基本的检索增强生成（RA

在这篇文章中，我将介绍RAG工作流程，突出分块在其中的作用，然后深入探讨固定、递归、语义、基于结构和后期分块技术，包括定义、权衡和伪代码，以便你能采用适合自己用例的方法。如果分割后的块仍然太大（超过限制），则递归地进一步分割（例如按句子），直到所有块都在限制范围内。高风险或对精度敏感的检索增强生成（RAG）应用（法律、医疗、监管领域），在这些应用中，对代词或指代的误解可能代价高昂。它是您的RAG项

更妙的是，如果模型在适应用户反馈的同时能够解释其纠正步骤，那么它们不仅会变得更智能，而且会更透明。与仅依赖一般相似度的传统RAG不同，RAS采用主题范围的方法，显著缩小了搜索空间。需求分析系统（RAS）依赖于将杂乱无章、非结构化的文本转化为清晰、结构化的知识。它会生成一个有针对性的子查询，这是一个较小、聚焦的问题，旨在填补知识中的特定空白。这将需要新的索引和处理高容量请求的方法，同时又不降低速度。