【6G新技术探索】基于基础大模型的AI Agent设计模式分享

模式总结被动式目标创建器（Passive goal creator）通过对话界面分析用户明确表达的指令，以保持交互性、目标导向性和效率主动式目标创建器（Proactive goal creator）通过理解人类交互行为并借助相关工具捕捉上下文，预判用户目标，从而增强交互性、目标可达性与易用性被动目标创建器通过对话接口分析用户的明确目标。当用户向智能体发起查询以解决特定问题时，通常会提供相关上下文并

写编程的木木

414人浏览 · 2026-03-12 14:25:24

写编程的木木 · 2026-03-12 14:25:24 发布

本人就职于国际知名终端厂商，负责modem芯片研发。
在5G早期负责终端数据业务层、核心网相关的开发工作，目前牵头6G技术研究。

博客内容主要围绕：
5G/6G协议讲解
高级C语言讲解
Rust语言讲解

文章目录

基于基础大模型的AI Agent设计模式分享
- 一、研究背景与目标
- 二、整体架构
- - 2.1 模式总结
  - - 2.1.1 目标创建机制
    - 2.1.2 提示/响应优化
    - 2.1.3 模型增强技术
    - 2.1.4 计划生成策略
    - 2.1.5 反思与协作机制
    - 2.1.6 协作模式
    - 2.1.7 安全与管理工具
- 三、AI Agent模式介绍
- - 3.1 被动式目标创建器（Passive goal creator）
  - 3.2 主动式目标创建器（Proactive goal creator）
  - 3.3 提示/响应优化器（Prompt/response optimiser）
  - 3.4 检索增强生成（Retrieval augmented generation）
  - 3.5 单次模型查询（One-shot model querying）
  - 3.6 增量式模型查询（Incremental model querying）
  - 3.7 单路径计划生成器（Single-path plan generator）
  - 3.8 多路径计划生成器（Multi-path plan generator）
  - 3.9 自我反思（Self-reflection）
  - 3.10 交叉反思（Cross-reflection）
  - 3.11 人类反馈（Human reflection）
  - 3.12 基于投票的合作（Voting-based cooperation）
  - 3.13 基于角色的合作（Role-based cooperation）
  - 3.14 基于辩论的合作（Debate-based cooperation）
  - 3.15 多模态护栏（Multimodal guardrails）
  - 3.16 工具/智能体注册表（Tool/agent registry）
  - 3.17 智能体适配器（Agent adapter）
  - 3.18 智能体评估器（Agent evaluator）
- 四、多种模式如何使用

基于基础大模型的AI Agent设计模式分享

下面的内容来自一篇论文，论文链接

一、研究背景与目标

   作为极具颠覆性的生成式人工智能（GenAI）技术的技术支柱，基础模型（FM，Foundation

Model）受到了学术界和工业界的广泛关注。具体而言，大型语言模型（LLM）的出现，凭借其出色的理解和生成类人推理及内容的能力，推动了使用语言模型的各种下游任务的蓬勃发展。随后，基于基础模型开发自主Agent引起了行业的极大兴趣，例如 AutoGPT1 和 BabyAGI2 ，这些Agent能够主动地追求用户的目标。这个目标可以由人类给出，范围很广，这就需要Agent从基础模型的能力中获得自主性，使它们能够将目标分解为一系列可执行的任务，并协调任务执行以实现目标。在推理过程中，人类还可以对工具性目标提供反馈，修改Agent推导出的多步计划，纠正中间结果，甚至根据前期结果在执行过程中完善计划或者目标。

   尽管在这一融合领域投入了巨大努力，但对于从业者来说，构建和实施基于基础模型的Agent仍存在陡峭的学习曲线。我们注意到，存在一系列可复用的解决方案，这些方案可以归类为模式，以应对设计基于基础模型的Agent时面临的各种挑战，然而，这些Agent的架构设计和架构模式集合尚未得到系统的探索和制定。此外，集成Agent的系统设计并非易事，且十分复杂，尤其是在如何选择适当的设计决策以满足不同的软件质量要求和设计约束方面。再者，多Agent系统可能需要对Agent之间的协调和交互进行额外的考虑。我们列出了开发和实施基于基础模型的Agent时面临的几个挑战如下：

智能体（Agents）通常难以充分理解和执行复杂任务，这可能导致其生成不准确的响应。这一挑战可能因计划生成与行动过程中固有的推理不确定性而加剧。例如，在长期规划中，各步骤之间可能存在依赖关系，即使个别步骤出现轻微偏差，也可能显著影响整体成功率；
不应完全归咎于智能体的响应不准确，因为用户在与智能体交互时可能提供有限的上下文、模糊的目标或不明确的指令，这会导致智能体的推理过程和响应生成存在规范不足（underspecification）问题；
智能体及其基础模型复杂的内部架构导致其可解释性有限，使其对利益相关者而言如同“黑箱”。因此，智能体往往难以解释自身的推理步骤，这可能影响其系统的可靠性、鲁棒性及整体可信度；

由于整个生态系统中存在多方利益相关者、基于基础模型（FM）的智能体、非智能体AI模型以及非AI软件应用之间的交互，责任归属过程变得复杂。高度自主的智能体可能将某些任务委托甚至创建其他智能体或工具。在此情况下，责任与问责可能涉及多个实体之间的交织；

 在此背景下，提出了一个基于基础模型的Agent架构模式目录，旨在通过为各类Agent的设计与开发提供整体指导，并明确不同Agent间的协作机制，解决已识别的问题。例如，目标创建模式可澄清用户意图和指令以避免规范不足；系列化的反思模式能帮助识别并缓解Agent生成计划中的不确定性，同时通过要求Agent对其生成的规划进行自我反思，增强其推理过程的解释性。当多个Agent参与身份和操作均被记录的投票流程时，可维护责任性。

二、整体架构

2.1 模式总结

2.1.1 目标创建机制

模式	总结
被动式目标创建器（Passive goal creator）	通过对话界面分析用户明确表达的指令，以保持交互性、目标导向性和效率
主动式目标创建器（Proactive goal creator）	通过理解人类交互行为并借助相关工具捕捉上下文，预判用户目标，从而增强交互性、目标可达性与易用性

2.1.2 提示/响应优化

模式	总结
提示/响应优化器（Prompt/response optimiser）	根据期望的输入或输出内容与格式优化提示/响应，以提供标准化、目标对齐性、互操作性与适应性

2.1.3 模型增强技术

模式	总结
检索增强生成（Retrieval augmented generation）	在确保本地部署的基础模型/系统数据隐私的前提下，增强智能体的知识更新能力
单次模型查询（One-shot model querying）	通过单次访问基础模型生成计划的所有必要步骤，以实现成本效益与简洁性
增量式模型查询（Incremental model querying）	在计划生成过程中逐步访问基础模型，提供补充上下文并提升推理确定性及可解释性

2.1.4 计划生成策略

模式	总结
单路径计划生成器（Single-path plan generator）	协调生成实现用户目标的中间步骤，以提升推理确定性、连贯性与效率
多路径计划生成器（Multi-path plan generator）	在每一步骤中允许多种选择，以增强推理确定性、与人类偏好的一致性及包容性

2.1.5 反思与协作机制

模式	总结
自我反思（Self-reflection）	使智能体对计划与推理过程生成反馈，并提供自我优化指导，以提升推理确定性、持续改进能力与效率
交叉反思（Cross-reflection）	利用不同智能体或基础模型提供反馈并优化计划，实现更好的推理可扩展性与包容性
人类反馈（Human reflection）	收集人类反馈以优化计划，确保与人类偏好高度对齐，增强可争议性与有效性

2.1.6 协作模式

模式	总结
基于投票的合作（Voting-based cooperation）	允许智能体自由表达意见并通过投票达成共识，确保公平性、问责制与集体智慧
基于角色的合作（Role-based cooperation）	分配差异化角色并依据角色最终决策，促进分工、容错性、可扩展性与问责制
基于辩论的合作（Debate-based cooperation）	通过多智能体辩论调整思维与行为直至达成共识，提升适应性、批判性思维与可解释性

2.1.7 安全与管理工具

模式	总结
多模态护栏（Multimodal guardrails）	控制基础模型的输入与输出以满足用户需求、伦理标准与法律要求，增强鲁棒性、安全性与合规性
工具/智能体注册表（Tool/agent registry）	维护统一资源库以选择多样化工具与智能体，提升可发现性、工具适用性与扩展性
智能体适配器（Agent adapter）	提供连接智能体与外部工具的接口，确保互操作性并降低开发成本
智能体评估器（Agent evaluator）	基于多样化需求和指标对智能体进行评估，确保其功能适用性、适应性以及更高的灵活性

   上面的架构图展示了基于基础模型的AI Agent生态系统，涵盖Agent组件及其与不同实体间的交互注释（采用相关模式实现）。当用户与Agent交互时，被动目标创建器与主动目标创建器可协同解析用户意图与环境信息，通过上下文工程的形式将最终目标规范化；而提示/响应优化器则依据预定义模板，对其他Agent或工具生成符合特定格式或内容要求的精细化指令。Agent接收到用户输入后，通过检索增强生成（RAG）机制从知识库中补充上下文信息，随后借助单路径计划生成器和多路径计划生成器将最终目标拆解为可执行任务序列。在此过程中，可能触发一次性查询或增量式查询。

   为确保生成计划的准确性、适用性与完整性，需通过自反思（Agent内部评估）、交叉反思（多Agent互评）与人类反思（人工介入）等多维度反馈机制对计划进行审查，并动态调整推理步骤。此后，Agent可通过工具/智能体注册中心调用外部工具或者AI Agent集群协作实现目标。值得注意的是，Agent可灵活承担协调者或工作者等不同角色：Agent适配器持续学习各类工具的接口规范，并将其转化为基础模型兼容的交互环境；多模态护栏机制可管理模型的输入/输出内容合规性。同时，各Agent在执行推理、规划与任务时需要依赖检索增强生成、工具/智能体注册中心以及智能体适配器等外部系统支持。为简化示意图，上图未展示Agent作为工作者时的详细架构模式和部分组件（例如每个工作者Agent内部仍需包含被动/主动目标创建器、提示/响应优化器及单/多路径计划生成器等）。最后需强调，开发者可在Agent的设计阶段和运行时对其性能进行评估优化。

三、AI Agent模式介绍

3.1 被动式目标创建器（Passive goal creator）

   被动目标创建器通过对话接口分析用户的明确目标。当用户向智能体发起查询以解决特定问题时，通常会提供相关上下文并通过提示（prompt）解释目标。但是用户可能缺乏与Agent交互的专业知识，且提供的信息可能模糊不清，导致目标难以实现。

   如上图所示，被动目标创建器通过简化的图形化流程实现。基于基础模型的Agent提供一个对话接口，用户可直接在此输入上下文和问题，这些信息会被传递至被动目标创建器以确定目标。同时，被动目标创建器可从内存中检索相关信息（包括当前处理的代码库、近期任务中的工具使用记录、对话历史、正反示例等），并将其附加到用户的提示中以辅助目标生成。最终生成的目标会被发送至其他组件进行任务分解与执行。在此模式下，Agent被动接收用户输入，并通过分析用户直接提供的上下文信息生成目标优化策略。需注意的是，在多Agent系统中，一个Agent可通过调用另一Agent的API发送提示并分配任务，后者则分析接收的信息以确定目标。

优点：

交互性：用户或其他Agent可通过对话接口或相关API与Agent交互；
目标导向：Agent能分析用户提供的上下文，结合内存中的信息确定目标并制定策略；
高效性：用户通过直观的对话接口直接发送提示，操作便捷；

不足：

推理不确定性：用户背景与经验差异可能导致上下文信息不清晰，尤其在缺乏标准化提示要求的情况下，加剧推理的不确定性。

3.2 主动式目标创建器（Proactive goal creator）

   主动目标生成器通过理解人类交互并借助相关工具捕捉上下文信息，从而预测用户目标。但是仅通过对话界面收集的上下文信息可能有限，导致对用户目标的响应不准确。

   上图展示了主动目标生成器的简单图形化表示。除了从对话界面接收的指令和从记忆中检索的相关上下文外，该生成器可通过向检测器发送需求来预测用户目标。检测器将捕获并返回用户周围的多模态上下文信息（例如通过摄像头识别用户手势、通过屏幕截图分析应用界面布局等），以供进一步分析和生成目标。需注意，主动目标生成器应以低误报率通知用户关于上下文捕获及相关问题，以避免不必要的干扰。此外，捕获的环境信息可存储于Agent的记忆（或知识库）中，构建“世界模型”以持续提升其对现实世界的理解能力。

有点：

交互性：Agent可通过预判用户或其他Agent决策（基于多模态上下文信息）实现主动交互；
目标导向：多模态输入可为智能体提供更详尽的用户目标信息，提升目标实现的准确性与完整性；
可访问性：额外的工具可帮助从残障用户处捕获情感等上下文信息，确保可访问性并扩展基于基础模型的Agent对人类的价值；

不足：

额外开销：
- 主动目标生成器依赖多模态上下文信息捕获工具，可能增加智能体成本；
- 有限的上下文信息可能增加用户与Agent之间的通信开销；

3.3 提示/响应优化器（Prompt/response optimiser）

   用户可能难以编写有效的提示，尤其在需要注入全面上下文信息时；同时，用户也可能难以理解Agent在某些情况下生成的输出内容。提示/响应优化器能够根据用户期望的输入、输出内容与格式，对提示（prompt）和响应（response）进行优化。如何生成与用户目标一致的有效提示和标准化响应？

   上图展示了提示/响应优化器的高层图形化表示。用户可以向Agent输入初始提示，但这些提示可能因缺乏相关上下文、无意注入冗余信息或攻击性内容等原因而低效。为此，提示/响应优化器可构建符合预定义约束条件和规范的优化提示与响应。这些约束和规范明确了输入/输出的期望内容与格式，确保与最终目标对齐。优化器中通常使用提示或响应模板作为生成具体实例的“工厂”。此类模板通过结构化方法来标准化查询与响应，既提升了响应准确性，也增强了与外部工具或Agent的互操作性。例如，一个提示模板可包含对Agent的指令、少量示例（few-shot learning）以及需解决的问题或目标。

优点：

标准化：通过模板中定义的要求，优化器可生成标准化的提示与响应；
目标对齐：优化后的提示与响应遵循用户定义的条件，从而实现更高的准确性和目标相关性；
互操作性：优化器提供一致且定义明确的提示与响应，促进Agent与外部工具间的任务协作；
适应性：通过结合知识库更新模板，优化器可适配不同约束、规范或领域特定需求。

不足：

规范不足：在某些情况下，优化器可能难以有效捕获并整合所有相关上下文信息，尤其是当用户输入模糊或依赖于复杂的上下文工程时，可能导致生成不恰当的提示或响应；
维护成本：更新和维护提示或响应模板可能需要较高成本。需求变更时需修改多个模板，这一过程耗时且易出错；

3.4 检索增强生成（Retrieval augmented generation）

   基于大模型的智能体通常缺乏对特定领域（尤其是涉及高机密性或隐私敏感数据）的知识理解，除非通过领域数据对模型进行微调或预训练。然而，微调可能引发数据隐私泄露和高计算成本问题。检索增强生成技术通过从外部数据源获取知识，增强了Agent在任务完成中的知识更新能力，同时保障本地数据隐私。该方法尤其适用于基于预训练大模型的系统，避免因数据敏感性或领域专有性导致的模型微调需求。当任务需要依赖大模型未学习过的数据或知识时，Agent如何实现有效推理？

   上图展示了检索增强生成（RAG）的高层架构。RAG通过从向量数据库或其他外部源（如内部或在线数据）检索参数化知识，填补Agent的知识空白。其实现步骤如下：

确定数据源：选择可用的本地或在线数据源；
定义数据结构：将原始数据（文本、图像、视频、音频等）编码为嵌入向量或知识图谱；
检索与查询匹配：任务执行器将用户查询编码后，从知识库（如向量存储库）中检索最相关信息；

数据后处理：通过重排序和过滤优化检索结果，生成更准确的响应；

RAG无需对模型进行预训练或微调，从而保障本地数据隐私、降低训练成本，并提供实时更新的精准信息。例如，检索到的本地数据可通过prompt（需考虑上下文窗口限制）传递给Agent，后者通过上下文学习生成任务计划。当前衍生的RAG技术包括联邦RAG、图RAG等，而“检索交错生成”技术可支持Agent在响应生成阶段动态调用外部知识。

优点：

知识检索能力：Agent可检索任务相关的外部知识，确保推理可靠性；
可更新性：基于内部或在线数据的提示和响应可通过参数化知识动态更新；
数据隐私性：本地数据无需上传至模型，直接通过检索机制保障安全；
成本效率：无需完整训练新模型，显著降低训练与计算开销；

不足：

维护成本：向量库中参数化知识的更新需要额外的计算与存储资源；
数据依赖性：生成内容的质量仍受限于训练数据，可能影响特定领域输出的准确性；

3.5 单次模型查询（One-shot model querying）

   当用户为实现特定目标与Agent交互时，系统会调用内置的基础模型来制定计划。通过单次调用基础模型，生成计划所需的所有步骤。如何使Agent高效生成计划步骤？

   如上图所示，用户与Agent通过单次模型查询进行交互。在此场景中，Agent基于用户设定的目标，调用集成的基础模型生成对应计划。

优点：

高效性：通过调用底层基础模型，Agent可快速生成完成用户目标的计划；
成本节约：由于仅需单次调用基础模型，用户成本显著降低；
简洁性：单次模型查询适用于无需复杂行动计划的任务；

不足：

过度简化：对复杂任务，单次查询可能无法完整捕获所有需求，导致任务被简化且返回错误结果；
可解释性不足：单次调用基础模型可能缺乏详细推理步骤，影响计划生成的可解释性；
上下文窗口限制：受限于基础模型处理长对话的能力及令牌数上限，响应质量可能降低；

3.6 增量式模型查询（Incremental model querying）

   当用户为实现特定目标与Agent交互时，系统通过调用内置的基础模型生成规划方案。增量模型查询是指在规划生成过程的每一步中访问基础模型。基础模型可能无法在首次尝试中生成正确的响应。如何确保Agent进行精准的推理？

   上图展示了计划生成组件与集成的基础模型进行增量查询的交互机制。Agent可通过逐步推理过程制定目标实现方案，期间多次调用基础模型。同时，用户可随时对推理过程及生成的规划提供反馈，并在模型调用阶段进行调整。查询次数可预先在Agent配置中设定，或通过用户指令动态决定。需注意，增量模型查询可依赖可重用模板，通过上下文注入或显式的工作流/计划存储库和管理系统来指导过程。此模式适用于其他组件调用集成基础模型的场景。

优点：

补充上下文：增量模型查询允许用户将上下文拆分为多个提示片段，缓解上下文窗口容量限制问题；
推理确定性：基础模型可通过自我检查或用户反馈迭代优化推理步骤；
可解释性：用户可通过增量查询要求模型提供详细的推理步骤；

不足：

额外开销：
- 增量模型查询需多次与基础模型交互，可能增加规划确定的时间成本；
- 若使用商业化基础模型，高频用户查询可能导致成本激增；

3.7 单路径计划生成器（Single-path plan generator）

   用户通常将Agent视为“黑箱”，但可能关注Agent实现目标的具体过程。单路径计划生成器通过对实现用户目标的中间步骤进行编排，实现对最终目标的系统性规划。智能体如何高效地制定策略来实现用户目标？

   如上图所示，单路径计划生成器在接收并理解用户目标后，协调其他Agent或工具生成计划，对任务进行优先级排序，逐步推进目标达成。具体而言，计划生成需通过推理与验证确保中间步骤可执行且最优。此过程中的每一步仅设计为单一后续步骤，形成线性直接的计划（例如思维链，CoT）。此外，采用自我一致性（Self-consistency）方法，通过多次调用基础模型验证并选择一致性最高的答案作为最终决策。需注意的是，生成计划的粒度可能因目标复杂度而异，复杂计划可能包含多工作流、流程、任务及细粒度步骤。

优点：

推理确定性：多步骤计划可反映推理过程，减少实现目标的不确定性或模糊性；
连贯性：为用户、Agent及工具提供清晰连贯的实现路径；
高效性：通过剪枝冗余步骤或干扰，提升智能体效率；

不足：

灵活性受限：单一路径可能无法适配多样化用户偏好或场景，导致用户无法自定义解决方案；
过度简化：针对需多维度方法的复杂问题，生成的计划可能过于简化；

3.8 多路径计划生成器（Multi-path plan generator）

   Agent对用户而言被视为“黑箱”，但用户可能关注智能体实现目标的具体过程。多路径规划生成器允许在实现用户目标的每个中间步骤中创建多种选择。当面对复杂任务时，Agent如何生成高质量、连贯且高效的问题解决方案，同时兼顾包容性与多样性？

   上图展示了多路径规划生成器的图形化表示。基于单一路径生成器，多路径生成器能在每个步骤中创建多种选择，这要求底层基础模型能够从先前步骤中筛选出符合条件且可操作的活动。具体而言，用户的偏好可能影响后续中间步骤，从而衍生出不同的最终规划方案。相关Agent与工具的调用将据此动态调整。“思维树”（Tree-of-Thoughts）模式是这一设计模式的典型范例。

优点：

推理确定性：通过提供中间步骤的多种选择，多路径规划生成器可减少推理过程中的不确定性或模糊性；
连贯性：用户、Agent及工具间的交互路径清晰且目标导向明确；
与人类偏好的对齐：用户可通过确认中间步骤参与规划定制，使生成策略更贴合个性化需求；
包容性：针对复杂任务，Agent可在推理过程中指定多个探索方向；

不足：

额外开销：任务分解与多路径生成可能增加用户与Agent间的通信成本；

3.9 自我反思（Self-reflection）

   根据用户的目标与需求，Agent会生成计划，将目标分解为一系列任务以实现最终目标。自我反思使Agent能够对计划和推理过程生成反馈，并从自身对完成目标提供优化指导。生成的计划可能受到基础模型幻觉（hallucinations）的影响，如何高效审查计划与推理步骤并整合反馈？

   上图展示了自反思的图形化表示。具体而言，反思是一种形式化的优化过程，通过迭代审查和优化Agent的推理过程及生成内容来实现。用户向Agent提出具体目标，后者生成满足需求的计划；随后，用户可指示Agent对计划及对应推理过程进行反思。Agent会回溯推理流程，验证是否存在错误的中间结果（这些错误可能导致后续步骤全部偏离方向），进而调整并校准推理过程以生成优化后的计划。此类反思流程与结果可存入Agent记忆库以支持持续学习。最终逐步执行确定的计划。

优点：

推理确定性：Agent可评估自身响应与推理流程，检查错误或不恰当输出并进行修正；
可解释性：自我反思使Agent能够向用户复盘并解释其推理过程，帮助用户更好理解其决策逻辑；
持续改进：通过持续更新记忆库或知识库，以及优化提示与知识的形式化方式，Agent可在减少甚至无需额外反思步骤的情况下，为用户提供更可靠、一致的输出；
效率：一方面，Agent自评估响应可节省时间（与其他反思模式相比无额外沟通成本）；另一方面，基于持续改进，未来响应更精准，从而降低整体推理耗时；

不足：

推理不确定性：评估结果受自我反思复杂度及Agent评估自身响应的能力限制；
额外开销：
- 自反思可能增加Agent复杂度，影响整体性能；
- 开发与维护具备自我反思能力的Agent需要专业的知识和开发流程；

3.10 交叉反思（Cross-reflection）

   Agent需生成实现用户目标的计划，但该计划的可靠性需经过评估。交叉反思通过调用不同的Agent或基础模型提供反馈，从而优化生成的计划及对应的推理流程。若单个Agent能力有限，无法通过自我反思充分评估其输出和推理步骤的质量，应如何解决？

   3.9节的图展示了交叉反思的高层流程图。若某个Agent无法通过自我反思生成准确结果或精确计划步骤，用户可引导该Agent向另一个专门负责反思的Agent发起查询。后者可审查并评估原Agent的输出记录及相关推理步骤，并提供改进建议。此过程可迭代进行，直至反思Agent确认计划。此外，还可调用多个反思Agent以生成综合反馈。

优点：

推理确定性：Agent的输出结果及其方法论将接受其他Agent的评估与优化，以确保推理的确定性与应答的准确性；
可解释性：可通过调用多个Agent对原始Agent的推理过程进行审查，从而为用户提供全面的解释；
包容性：当查询多个Agent时，交叉反馈会包含不同的推理结果，这有助于形成全面的改进建议；
可扩展性：支持将可扩展的基于Agent的系统作为反思智能体，交叉反思可灵活更新且不影响系统运行。

不足：

推理不确定性：整体应答的质量与可靠性依赖于其他反思Agent的性能表现；
公平性维护：当多个Agent参与反思过程时，如何确保所有反馈的公平性将成为关键问题；
追责复杂性：若交叉反思反馈导致严重或有害后果，由于涉及多个Agent，追责过程可能复杂化；
额外开销：
- Agent之间的交互会产生通信开销；
- 用户可能需要为使用反思Agent支付费用；

3.11 人类反馈（Human reflection）

   Agent通过创建计划与策略，将用户的目标和需求分解为一系列任务。Agent通过收集人类反馈来优化计划，以实现与人类偏好的高效对齐。如何确保完全正确地捕捉和整合人类偏好，并将其纳入推理过程及生成的计划中？

   3.9节的图展示了“人类反思”的图形化表示。当用户提出目标与特定约束时，Agent首先生成一个包含多个中间步骤的计划。生成的计划及其推理过程日志可呈现给用户进行审查，或发送给其他人类专家以验证可行性。用户或专家可提供评论或建议，指出需更新或替换的步骤。该计划将经过迭代评估与改进，直至获得用户或专家的批准。

优点：

与人类偏好对齐：Agent可直接从用户或额外的人类专家处接收反馈，从而理解人类偏好并改进结果，例如提升程序公平性、结果多样性等；
可争议性：用户或专家在发现异常行为或响应时，可立即对Agent的成果提出质疑；
有效性：通过“人类反思”，Agent可在计划优化中纳入用户视角，从而生成针对用户特定需求与理解定制的响应。此过程可确保策略的可用性，并提升实现用户目标的有效性；

不足：

公平性维护：Agent可能受到提供带有现实世界偏见信息的用户的负面影响；
能力局限：Agent仍可能无法完全理解人类情感与经验；
反馈模糊性：用户可能向Agent提供有限或模糊的反思反馈；
额外成本：用户可能需要为与Agent的多轮交互支付费用；

3.12 基于投票的合作（Voting-based cooperation）

   在复合AI系统中可利用多个Agent。这些Agent需在保持各自独立视角的同时协作完成同一任务。Agent可以自由提供意见，并通过基于投票的协作达成共识。如何妥善确定Agent的最终决策，以确保不同Agent间的公平性？

   上图展示了智能体如何通过投票协作确定最终决策。具体流程如下：

生成候选响应：某Agent首先生成对用户提示的候选响应；
发起投票：该Agent发起投票，将不同反思性建议作为选项呈现；
提交投票：请求其他Agent根据自身能力与经验投票选择最合适的反馈；
集中协调：所有Agent以集中式沟通，原始Agent充当协调者角色；
结果反馈：投票结果被格式化后返回原始Agent，由其优化响应后再答复用户。

投票过程可通过多种方式实现，例如：

协调者Agent与其他Agent的直接通信；
基于区块链的智能合约；

此外，需对所有参与的Agent进行身份管理，以确保投票的可追溯性与可验证性。

优点：

公平性：可通过多种投票方式保障公平。例如，采用一人一票制确保权利平等，或者根据Agent角色分配权重；
可问责性：整个流程及最终结果均记录于投票系统中，利益相关者可追溯选择特定选项的责任方；
集体智慧：投票后的决策能综合多Agent优势（如全面的知识库），因此比单一Agent的决策更准确可靠；

不足：

集中化风险：部分Agent可能获得多数决策权，从而影响投票公正性；
额外开销：举行投票可能会增加Agent审查选项及投票的通信开销；

3.13 基于角色的合作（Role-based cooperation）

   在复合AI系统中可以利用多个Agent协作完成同一任务，同时保持各Agent的独立视角。Agent被分配不同的角色，并根据其角色最终确定决策。考虑到Agent的专业领域，它们如何能在特定任务中合作？

   上图展示了基于角色协作的图形化表示，其中Agent通过分层方案进行协调。具体而言，可通过角色规范、任务定义、工具使用和流程编排为Agent分配特定角色，从而建立工作流。例如，作为规划者的Agent可通过将用户目标分解为任务链来生成多步骤计划。随后，作为分配者的Agent对任务进行编排，其中一部分任务可由分配者自身完成，而另一部分任务可根据领域特定能力和专业知识委托给其他作为工作者的Agent。此外，若无可用的Agent，可调用作为创建者的Agent，通过提供必要资源、明确目标和初始指导来创建具有特定角色的新Agent，以确保任务和职责的无缝过渡。需注意，可定义并分配更精细的角色给Agent。

优点：

劳动分工：Agent可根据角色模拟现实中的劳动分工，从而支持对社会现象的观察；
容错性：由于利用多个Agent，系统可通过用相同角色的其他Agent替换失效Agent来维持运行；
可扩展性：可随时新增或创建新角色Agent，以优化任务工作流并扩展系统整体能力；
问责性：通过明确Agent角色对应的职责归属，问责机制得以强化；

不足：

开销：Agent间的协作会增加通信开销，而不同角色的Agent服务可能具有不同价格；

3.14 基于辩论的合作（Debate-based cooperation）

   复合型AI系统可集成多个Agent以提供更全面的服务。其中包含的Agent需在保持自身视角的同时，协作完成同一任务。一个Agent可从其他Agent处接收反馈，并在与其他Agent的辩论过程中调整自身思考与行为，直至达成共识。如何利用多个Agent生成精炼的响应，同时促进Agent的演进？

   上图展示了基于辩论的协作机制示意图。用户可向某Agent发送查询，该Agent随后将问题共享给其他Agent。基于共享的问题，每个Agent生成其初始响应，并随即开启一轮Agent间的辩论。Agent会以去中心化的方式将其初始响应传播给对方进行验证，同时也会提供指令和潜在的方向，以构建基于包容和集体结果的更全面的响应。此外，在某些情况下，Agent可利用共享内存，或允许彼此访问各自内存以促进辩论。此辩论过程可迭代进行以提升所有参与Agent的性能。基于辩论的协作可根据预设的辩论轮次数量终止，或持续进行直至获得共识性答案。

优点：

适应性：Agent能在辩论过程中适应其他Agent，实现持续学习与演进；
可解释性：基于辩论的协作通过Agent的论点与呈现的证据构建结构，保留全过程的透明度与可解释性；
批判性思维：与其他Agent辩论能帮助Agent培养批判性思维能力，服务于未来的推理过程；

不足：

能力局限：辩论协作的有效性依赖于Agent对推理、论证及评估其他Agent声明的能力；
数据隐私：Agent可能需要保留某些敏感信息，这可能影响辩论进程；
开销：辩论的复杂性可能增加通信与计算开销；
可扩展性维持：随着参与Agent数量增加，系统可扩展性可能受到影响。Agent的协调与论点的处理可能变得复杂；

3.15 多模态护栏（Multimodal guardrails）

   当用户向Agent发出具体目标指令时，系统会调用底层基础模型以实现目标。多模态防护栏可控制基础模型的输入与输出，以满足用户需求、伦理标准及法律等特定要求。如何防止基础模型受对抗性输入的影响，或避免其生成对用户及其他组件有害或不良的输出？

   上图展示了多模态防护栏的简化图示。在复合AI系统中，防护栏可作为基础模型与其他所有组件之间的中间层。当用户输入指令或其他组件（如记忆模块）向基础模型发送信息时，防护栏会先验证该信息是否符合预定义的特定要求。仅有效信息会被传递至基础模型，而高风险或敏感数据则需经过处理后再传输（例如需谨慎处理或删除个人可识别信息以保护隐私）。防护栏评估内容的方式既可依赖预定义示例，也可采用“无参考”（reference-free）方式。同理，当基础模型生成结果时，防护栏需确保响应中不包含对用户的偏见或无关信息，并满足其他系统组件的特定需求。需注意，系统中可部署一组防护栏，每个防护栏负责专项交互（例如从数据存储中检索信息、验证用户输入、调用外部API等）。同时，防护栏能处理文本、音频、视频等多模态数据，以实现全面的监控与控制。

优点：

鲁棒性：防护栏通过过滤不适当的上下文信息，保障基础模型的稳定性；
安全性：防护栏作为基础模型输出的验证器，确保生成响应不会对代理用户造成危害；
标准对齐：防护栏可依据组织政策策略、伦理标准及法律要求进行配置，以规范基础模型的行为；
适应性：防护栏可跨多种基础模型和Agent来实现，并根据定制化需求部署；

不足：

开销：开发多模态防护栏需收集多样化的高质量语料库，可能耗费大量资源；实时处理多模态数据可能增加计算需求与成本；
可解释性不足：多模态防护栏的复杂性使得最终输出的解释难度较高；

3.16 工具/智能体注册表（Tool/agent registry）

   在一个Agent内部，任务执行器可能与其他Agent协作或利用外部工具以扩展能力。工具/智能体注册中心可用于选择多样化的Agent和工具。那么Agent如何高效选择合适的外部Agent和工具？

   上图描述了Agent如何通过工具/代理注册中心搜索外部Agent和工具。用户向Agent提出目标，Agent将目标分解为细粒度任务。Agent可查询工具/代理注册中心，该注册中心是基于一系列指标（如领域特定能力、价格、上下文窗口）收集和分类各种工具与Agent的主要入口。根据返回的信息，Agent可将任务分配给相应的工具和Agent。需注意，注册中心可通过不同方式实现，例如具有特定知识库的协调代理（coordinator agent）、基于区块链的智能合约等，且注册中心可扩展为支持工具/代理服务交易的市场。

优点：

可发现性：注册中心为用户和Agent提供了发现不同能力工具和Agent的目录；
效率：注册中心提供直观的清单，列出工具和Agent的属性（如性能、价格），节省了比较时间；
工具适用性：根据任务需求和条件，用户和Agent可通过提供的属性选择最合适的工具/Agent；
可扩展性：注册中心仅存储工具和Agent的特定元数据，因此数据结构简单轻量，确保了可扩展性；

不足：

中心化：注册中心可能成为供应商锁定解决方案，并导致单点故障。若由外部实体维护，可能被操纵或攻破；
开销：实现和维护工具/智能体注册中心可能引入额外的复杂性和开销；

3.17 智能体适配器（Agent adapter）

   Agent可利用外部工具完成特定任务以扩展其能力。而智能体适配器可以提供接口实现Agent和外部工具的连通，从而完成任务。Agent需要处理不同工具的多样化接口，而某些接口可能与Agent不兼容或交互效率低下。Agent应如何将任务分配给外部工具并处理结果？

   上图展示了代理适配器的简化图示。根据用户指令，Agent生成一个包含若干任务的计划以实现用户目标。具体而言，Agent可调用多种外部工具完成不同任务。然而，工具具有各自的接口，这些接口可能处于不同抽象层级需Agent处理，或存在特定格式要求等。智能体适配器可通过将Agent消息转换为所需格式或内容（反之亦然）来帮助调用和管理这些接口。适配器可从数据存储中检索工具手册或教程，以获取可用接口并学习其用法，随后根据接口需求转换Agent输出并调用服务。需注意，细粒度的接口描述可增强Agent理解，从而提升性能。适配器还会接收工具的执行结果，并将其发送至底层基础模型进行进一步分析（例如将任务分配给其他工具，或对工具使用进行自我反思）。例如，适配器在与本地文件系统交互时将任务转换为系统消息，或在玩电子游戏时捕获并操作图形用户界面。

优点：

互操作性：智能体适配器促进Agent与外部工具之间的互操作；
适应性：Agent可通过适配器使用新工具，后者能通过对应手册或教程获取并转换工具API；
降低开发成本：智能体适配器实现接口的自主转换，无需为不同工具开发兼容接口，从而减少开发成本；

不足：

维护开销：智能体适配器本身需维护与评估以确保输出正确性；智能体适配器可能需要额外内存或外部数据存储以记录历史工具接口；

3.18 智能体评估器（Agent evaluator）

   智能体评估器可通过测试来评估Agent是否符合多样化需求和指标。如何评估Agent性能以确保其按预期运行？

   上图展示了智能体评估器的简化示意图。开发者可在设计时和运行时部署评估器，对Agent的响应和推理过程进行测评。具体而言，开发者需构建评估管道，例如定义基于特定场景的需求、指标以及Agent的预期输出。在给定具体上下文时，评估器会准备上下文相关的测试用例（从外部资源搜索或自主生成），并分别对Agent组件进行评估。评估结果可提供边界案例（boundary cases）、近似错误（near-misses）等有价值的反馈，开发者可据此对Agent进行微调、实施风险缓解方案，并升级评估器本身。

优点：

功能适用性：开发者通过评估结果可了解Agent行为，对比实际响应与预期响应；
适应性：开发者可根据基于场景需求的评估结果，判断Agent是否需要适配新需求或测试用例；
灵活性：开发者可自定义指标和预期输出来测试Agent的特定方面；

不足：

指标量化：难以设计量化标准来评估软件质量属性；
评估质量：评估效果依赖于已准备的测试用例质量；

四、多种模式如何使用

如果Agent需要捕获用户的环境信息作为补充上下文，主动目标创建器可通过一系列传感器获取的数据分析用户目标。在此场景下，Agent也可服务于特定残障用户。而被动目标创建器则能提供简洁高效的对话界面与用户交互。提示/响应优化器通过将用户指令精炼为标准化的提示模板，可增强目标对齐度。

同时，当组件需要额外上下文时，Agent可通过检索增强生成技术从外部知识库获取更多信息。此外，某个组件可根据用户设定需求或系统配置，针对单一目标多次调用基础模型（增量式模型查询），以提供补充上下文并提升模型推理确定性；也可因模型调用预算限制仅执行单次查询（单次模型查询）。

针对特定目标，Agent可通过单路径规划生成器创建线性计划以提高效率，或通过多路径规划生成器构建复杂计划（其中每一步骤包含不同选项），从而确保包容性并与人类偏好保持一致。生成的计划可通过多种评估方案（例如自我反思、交叉反思和人类反思）进行验证，以确保其正确性与可行性，同时提升Agent推理的确定性和可解释性；但每种方案均存在各自的优势与权衡。此外，可部署多个Agent参与反思过程，并通过基于投票、基于角色和基于辩论的合作机制进行交互。

当底层基础模型被查询时，恶意输入可能影响推理过程，致使模型可能持续学习并生成偏差输出。多模态防护栏可在基础模型与其他组件之间建立隔离层，通过基于规则的检测和基于人工智能的检测机制，对模型输入和输出进行双重审查。若需借助外部工具或Agent执行特定任务，工具/智能体注册表能提升工具的可发现性，同时确保工具的效能和适用性。智能体适配器可保障Agent调用外部服务时的互操作性和适应性，同时降低人工开发和维护成本。最后，智能体评估器可用于在发布前评估Agent的功能适用性。

如果你真的想学习大模型，真心建议不要去网上找那些零零碎碎的教程，真的很难学懂！你可以根据我这个学习路线和系统资料，制定一套学习计划，只要你肯花时间沉下心去学习，它们一定能帮到你！