RAG的核心思想是通过检索信息来提升LLM的表现（即通过将LLM和专门的知识库结合起来，补充训练时缺少的信息）。在搜索的过程中，检索器对知识文库文档进行排序，根据相关程度每个文档都会得到一个相关性分数（即提示词与文档文本的相似度分数）。根据前面的词来确定后面的最大可能的是哪个词，这种行为自回归（自我影响），由于其随机性和自回归性，用同一个提示词多次运行同一个模型通常会得到不同的结果。在RAG中，收

基线

在机器学习和深度学习的语境中，尤其是当涉及到预训练模型时，我们经常听到“上游任务”和“下游任务”这两个术语。进行预训练的任务，其目标是让模型学习到数据的内在规律和特征表示。进行微调或训练的任务，这些任务通常与实际应用需求密切相关。

AI Agent就是拦截在LLM跟人类或者是LLM要执行环境之间的一个介面，但是LLM的输入长度是有限的，不能够吃无限长的输入， 所以AI Agent做的事情就是选择给LLM看的输入内容（即AI Agent筛选后的长度合适的输入，不能太长也不能太短）。但是，仅仅做到长度合适是远远不够的。如何在多轮交互和海量工具反馈中，确保给到 LLM 的上下文既精准又不冗余？这就需要。Context Engine

上采样和下采样的目的

在机器学习和深度学习的语境中，尤其是当涉及到预训练模型时，我们经常听到“上游任务”和“下游任务”这两个术语。进行预训练的任务，其目标是让模型学习到数据的内在规律和特征表示。进行微调或训练的任务，这些任务通常与实际应用需求密切相关。

基线

消融实验

消融实验

基线