从0到1开发AI Agent（智能体）:基于大模型的AI Agent技术框架

系统会总结出最终的答案，以完成整个任务处理过程图2：流程可以看出Agent执行任务时的循环非常重要。这个循环促使 Agent 不断反思，并根据当前状况判断是否完成任务。

bagell

1891人浏览 · 2024-12-06 11:23:57

bagell · 2024-12-06 11:23:57 发布

AI Agent，即人工智能代理，一般直接叫做智能体。它是一种能够感知环境、做出决策并采取行动的系统。这些系统能够执行被动的任务，也能够主动寻找解决问题的方法，适应环境的变化，并在没有人类直接干预的情况下做出决策。

LLMs 的强大推理能力让 AI Agent 的表现跨越式提升。让Agent 向“决策性”转型。AI Agent的技术框架涉及多个层面，包括规划、记忆、工具和行动，其中规划、记忆、工具是AI Agent的3个核心组件。

1. AI Agent的3个核心组件

Planning 规划 : Agent需要具备规划(同时也包含决策)能力，以有效地执行复杂任务。这涉及子目标的分解(Subgoal Decomposition)、连续的思考(即思维链)、自我反思和批评(Self-critics)，以及对过去行动的反思(Reflection)

Memory 记忆 : 包含短期记忆和长期记忆两部分。短期记忆与上下文学习有关，属于提示工程的一部分，而长期记忆涉及信息的长时间保留和检索，通常利用外部向量存储和快速检索。

Tool 工具 : 包括 Agent 可能调用的各种工具，如日历、计算器、代码解释器和搜索功能等。由于大模型一旦完成预训练，其内部能力和知识边界就基本固定下来，而且难以拓展，因此这些工具显得尤其重要。这些工具可以扩展Agent的能力，使其能够执行更复杂的任务，

Agent基于规划和记忆来执行具体的行动。这可能包括与外部世界互动，或者通过调用工具来完成一个动作(任务)。

图1：组件

AI Agent 是通过一个完整的流程互相关联各个组件来处理和解决任务，见图2。

接收任务(Task Receiving) : Agent首先通过读入提示(即图中的查询+附加知识 +人设指示)来接收需要处理的任务。

记忆更新(Memory Update ) : Agent 根据具体任务更新系统的记忆，确保所有相关信息都是最新的，以便在处理任务时使用。

记忆检索(Memory Retrieval) : 由于记忆可能非常庞大，因此需要从记忆中检索相关信息，或者在必要时进行截断，以便高效处理信息。

任务规划(Task Plan) : 基于提供的结构化工具、记忆和查询提示，大模型生成一个包含任务名称的计划，计划包含后续步骤和动作，其中说明了需要调用哪些工具及参数。

工具执行(Tool Execution) : 如果在“任务规划”模块产生的是任务完成的信号那么循环将终止，并提示Agent任务完成，可以生成结论，否则，系统将调用并执行指定的工具。大模型在观察工具生成的指定格式的结果后，将其整合到任务记忆中。

总结(Concluding): 系统会总结出最终的答案，以完成整个任务处理过程

图2：流程

可以看出Agent执行任务时的循环非常重要。这个循环促使 Agent 不断反思，并根据当前状况判断是否完成任务。

2. AI Agent的规划能力

一个复杂的任务通常涉及许多步骤。AI Agent需要知道它们是什么，并且提前规划。

2.1 Task Decomposition 任务分解

思维链（Chain of thought ）: 模型被指示“逐步思考”，以利用更多的测试时间计算将困难任务分解成更小、更简单的步骤。CoT 将大任务转化为多个可管理的任务，并揭示了模型思考过程。

思维树(Tree of Thoughts，ToT) : 通过在每个步骤探索多种推理可能性，进而形成一种树状结构。思维树可以用不同的搜索方法，例如广度优先搜索(Breadth-First Search，BFS)或深度优先搜索(Depth-First Search，DFS)，并通过提示或投票来评估每个步骤

2.2 Self-Reflection 自我反思

自我反思是自主代理通过细化过去的行动决策和纠正之前的错误来迭代改进的重要方面。它在试错不可避免的真实世界任务中扮演着关键角色。

ReAct : 这个框架通过结合特定任务的动作和语言空间，让模型能够与环境交互，并生成推理轨迹。

Reflexion : 这是一个使 Agent 具备动态记忆和自我反思能力的框架。它通过帮助 Agent 回顾过去的行动来提高推理能力。

CoH(Chain of Hindsight ) : 这个方法通过向大模型展示一系列带有反馈的过去输出来鼓励大模型改进自己的输出

3. AI Agent的记忆机制

大模型形成记忆的机制可以总结为以下几种：

第一种是通过预训练形成记忆。大模型在大量包含世界知识的数据集上进行预训练在预训练中，大模型通过调整神经网络的权重，学习理解和生成人类语言，这可以被视为其’记忆”的形成过程。通过使用深度学习神经网络和梯度下降等技术，大模型可以不断提高基于输入预测或生成文本的能力，进而形成世界知识和长期记忆。

第二种是上下文互动。大模型在执行任务时，会将长期记忆和提供的上下文(也就是提示信息)结合起来使用。理想情况下，如果上下文包含与大模型的记忆知识冲突的任务相关信息，那么大模型应优先考虑上下文，以生成更准确和具有上下文特定性的回应。通过诸如知识意识型微调(knowledge-aware fine-tuning)等方法，可以增强大模型在使用上下文和记忆知识方面的可控性和鲁棒性。

第三种是通过针对特定任务的微调进行增强。大模型可以在更具体的数据集上进一步微调，以适应特定行为或提高特定任务的性能。例如，针对SAT(Satisfiability，可满足性)问题数据集进行微调的大模型在回答此类问题时会更加熟练。

第四种是大模型与外部记忆系统整合，通过提供长期记忆来增强大模型性能，使大模型能够记住和回忆过去的互动、理解用户的个性并提供更个性化的互动。这涉及动态个性理解、使用双塔密集检索模型的记忆检索，以及受艾宾浩斯遗忘曲线理论启发的记忆更新机制等。RAG 也可视为和外部知识系统整合的过程，这相当于给大模型提供了一个“外挂第二大脑”