大型语言模型的最新进展已经展示了它们在各个领域的卓越泛化性。然而，他们的推理能力仍有很大的提高空间，特别是在面对需要多步骤推理的场景时。虽然大型语言模型拥有广泛的知识，但它们的推理往往不能有效地利用这些知识来建立连贯的思维范式。这些模型有时表现出幻觉，因为它们的推理过程不受逻辑原则的约束。为了提高大型语言模型的零枪思维链推理能力，我们提出了LoT (Logical Thoughts)，这是一个自我

在图3.1中，我们展示了第2节描述的8个模型的训练曲线。对于这个图表，我们还包括了6个额外的超小型模型，参数数量少至100,000。正如[KMH+20]中观察到的，当有效利用训练计算时，语言建模性能遵循幂律。在将这个趋势再延伸两个数量级之后，我们观察到只有轻微（如果有的话）偏离幂律。有人可能会担心，交叉熵损失的这些改进只是来自于对我们训练语料库中的虚假细节的建模。然而，我们将在以下部分看到，交叉熵

特别是，当与PaLM-540B或GPT-3一起使用时，自一致性在算术推理任务中实现了新的最先进的性能水平，包括GSM8K (Cobbe等人，2021)(+17.9%的绝对精度增益)，SVAMP (Patel等人，2021)(+11.0%)，AQuA (Ling等人，2017)(+12.2%)，以及常识推理任务，如StrategyQA (Geva等人，2021)(+6.4%)和ARCchalleng

特别是，对于复杂的问答任务，一种有效的方法是基于示例的思维链(CoT)推理提示，这大大提高了LLM的性能。借鉴基于不确定性的主动学习方法（Gentile等人，2022年）的相关问题，我们引入了几种指标来刻画模型对每个问题的预测中的不确定性。利用u，我们选择不确定性最大的n个问题，并由专家注释这些问题以制定新的示例E。应用LLMs的一种典型方式是通过提供一系列指令和示例进行上下文学习（Brown等人

最大的挑战是，如何将检索到的文档有效的融入当前的生成任务中。当前的研究主要集中在智能结合不同的搜索技术，优化检索步骤，引入认知回溯概念，灵活运用多样化的查询策略，并利用嵌入式相似度。因此，在检索文档后加入一个额外的验证模块，该模块用来评估文档与查询之间的相关性，这样可以提升RAG的鲁棒性。额外生成模块： 面对检索内容中的冗余和噪声问题，这个模块通过大语言模型生成必要的上下文，而非直接从数据源进行检

传统的通过语义相似性搜索将大型语言模型( Large Language Models，LLMs )与知识库链接的方法往往无法捕获复杂的关系动态。为了解决这些局限性，我们引入了AutoKG，一种轻量且高效的自动知识图谱( KG )构建方法。**对于给定的由文本块组成的知识库，AutoKG首先使用LLM提取关键词，然后使用图拉普拉斯学习评估每对关键词之间的关系权重。**我们采用了一种结合向量相似度和基

这一策略的独特之处在于，通过减少每个文档的内容量和筛选掉不相关的文档，它能更加集中地展示检索结果中的关键信息。为了确保模型能够理解用户查询与内容的相关性，对嵌入模型进行任务特定的微调至关重要，否则未经微调的模型可能无法满足特定任务的需求。在 Liu 于 2023 年提出的 LlamaIndex 中，研究者们通过在查询编码器后加入一个特殊的适配器，并对其进行微调，从而优化查询的嵌入表示，使之更适合特

现代生成模型的优势在于它们能够通过基于文本的提示进行控制。典型的“硬”提示由可解释的单词和标记组成，必须由人类手工制作。还有“软”提示，它由连续的特征向量组成。这些可以使用强大的优化方法发现，但是它们不能很容易地解释、跨模型重用或插入到基于文本的界面中。我们描述了一种通过有效的基于梯度的优化来稳健地优化硬文本提示的方法。我们的方法自动为文本到图像和文本到文本应用程序生成基于硬文本的提示。

因此，在评估这次输出的IsSup（响应支持度）的分数时，就可以基于logprobs中这些tokens的概率来计算（上面例子中，显然[Fully supported]这个token的概率越高，说明支持度越高）。（就是假设LLM是一个优秀的学生，那么RAG就是一本参考书，这个问题就是LLM在考试的时候可以翻阅参考书，但是选取的知识点用来解答问题不是考题所涉及的知识点，所以最终会导致回答错误）比如提供的

ReAct是一种将推理和行动与LLM相结合的通用范式。ReAct 是一个很有潜力的方法，它将推理和行动结合起来，为解决各种语言推理和决策任务提供了新的思路。本文首先认为，到目前为止，LLM 在语言理解方面令人印象深刻，它们已被用来生成 CoT（思想链）来解决一些问题，它们也被用于执行和计划生成。引入一个名为ReAct的框架，在这个框架中，LLM被用来以交互的方式生成“合理的推理轨迹”以及“特定于任