1 引言

如今，AI 已深度融入生活，大语言模型（LLM）如 GPT、Llama、Claude 等更是广为人知。向 LLM 提问并获取答案虽令人欣喜，但仅靠独立的 LLM 应对复杂客户支持运营或大型研究项目，显然力不从心，就好比拥有超级大脑却缺少行动肢体。

打个比方，LLM 像出色的独奏音乐家，能独自创造奇迹，但有时我们需交响乐团，各种乐器协调和谐演奏。LLM 编排的意义就在于此，它让 LLM 与其他工具、数据源甚至其他 LLM 通信协作，共同完成更大、更复杂且更有用的任务。

2 LLM 编排到底是什么？

简单来说，LLM 编排（LLM Orchestration）是智能协调和管理一个或多个 LLM 调用，使其与第三方工具（如搜索引擎、数据库或自建 API）、数据源和其他软件组件协同工作。你可以将任务交给 LLM，并指导它在何处使用工具、从何处获取数据，以及如何将结果传递给下一个 LLM，从而实现高效的任务流程管理。

2.1 LLM 编排的关键价值

LLM 编排的作用可类比为餐厅厨师。厨师有优质食材（LLM）和各种工具（如刀具、烤箱等），但要成功准备美味饭菜，还需合理指导其他工具和人员（其他服务或 LLM）协同工作。那么，LLM 编排的关键价值有哪些呢？

• 分解复杂问题

  ：将大而复杂问题拆解成 LLM 能轻松处理的小任务，使其高效应对各种挑战。

• 增强现实世界能力

  ：借助现实世界知识和行动，弥补 LLM 在某些领域的不足，使其更好理解和处理实际问题。

• 构建有状态的 AI 应用

  ：打造值得信赖、一致且具有记忆能力的 AI 系统，使其在对话过程中保持上下文连贯性，避免“无记忆”尴尬。

通过 LLM 编排，LLM 不再是仅生产理论知识的简单机器，而是能执行实际任务的复杂助手，真正成为工作和生活中不可或缺的伙伴。

3 为什么还需要编排？LLM 本身不够强大吗？

你可能会问：“LLM 已如此强大，为何还要引入复杂编排？”确实，LLM 在诸多方面成就显著，但在现实应用中，仍面临一些挑战，这些挑战正是 LLM 编排的核心价值所在。

3.1 记忆问题和健忘

LLM 有“上下文窗口”，只能记住对话或文本的一部分。若对话过长或文本过大，它们可能忘记最初内容，就像和朋友聊天，对方突然忘了你之前说过什么，令人困惑沮丧。

• 编排的作用

  ：编排可管理对话历史，必要时总结旧数据提醒 LLM，或把长文本拆成小块分别处理，最后整合结果。简言之，编排扩展了 LLM 的“记忆”。

3.2 真实世界的知识和最新信息

大多数 LLM 的训练数据截止于特定日期，对最新事件、技术或产品价格一无所知。若问它们“今天天气如何？”它们可能回答“我不知道我的训练截止日期之后的事”。

• 编排的作用

  ：编排将 LLM 连接外部世界，通过搜索引擎、新闻 API 或公司内部数据库等工具，为 LLM 提供最新信息。它甚至能让 LLM 通过这些工具采取行动，如发送邮件或创建日历事件。这种能力被称为“Retrieval Augmented Generation”，是目前极具革命性的技术之一。

3.3 复杂任务和逐步思维能力

尽管 LLM 在文本生成方面表现出色，但面对多步骤复杂任务时，可能会卡住。即使它们能完美完成每个步骤，也可能无法将这些步骤逻辑串联起来。

• 编排的作用

  ：编排将复杂任务分解为更小、更易处理的子任务，形成“链条”。一个 LLM 完成一个步骤后，将结果传递给下一个 LLM 或工具，就像工厂流水线，每个环节完成自己的任务，最终输出完整成品。这种编排方式让 LLM 像拥有了大脑和四肢，能高效完成复杂任务。

3.4 一致性和可靠性

LLM 的回答有时不稳定，同一问题在不同时间可能得到不同答案。这种特性在创造性任务中有用，但在需要一致性和准确性时，就会让人头疼。

• 编排的作用

  ：编排可安排验证机制，确保 LLM 的回答格式正确，甚至可要求 LLM 用不同方法重新回答问题，从而减少“我想知道”的不确定时刻。

3.5 成本和性能

运营 LLM，尤其是大型 LLM，成本高昂。每个 API 调用都是一笔不小的开支，若频繁调用 LLM 处理简单任务，不仅增加成本，还会降低应用响应速度。

• 编排的作用

  ：编排优化调用，对于简单、基于规则的任务，可直接处理而无需调用 LLM。此外，编排还可缓存常用结果，避免重复调用 LLM，从而节省时间和成本。

3.6 重要提示

LLM 并非万能魔杖。虽是强大工具，但并非无所不能。成功应用 LLM 的关键在于了解其优势和局限，并通过编排等智能方法来弥补不足。编排并非可有可无的附加组件，而是使 LLM 真正强大且有用的关键。

4 LLM 编排的基础知识：链、智能体、记忆等

现在我们已经明白了编排的重要性，那么它是如何工作的呢？它的基本组成部分又是什么？

4.1 链：LLM 调用的舞蹈

“链”是最简单的编排概念之一，即将多个步骤串联起来，这些步骤可以是 LLM 调用、使用工具或数据处理步骤。

• 简单链

  ：最直接的逻辑。向 LLM 提问，接收答案，将答案转发给另一个 LLM，接收其答案，依此类推。例如，你可以先总结一段文本，然后将摘要转换为关键词。

• 更智能的链

  ：添加一些逻辑。例如，如果 LLM 的回答是“是”，则执行某个操作；如果是“否”，则执行另一个操作。或者，你可以让一个 LLM 生成多个结果，然后让另一个 LLM 从中选择最佳答案。

我最早的一次“啊哈”时刻，就是通过一个简单的链，让系统对用户的请求进行分类，然后将请求发送到相应的 LLM。我只是让它们分担工作量，效果出奇地好！

4.2 智能体和工具：让 LLMs 做出决策

LLM 编排的核心在于智能体和工具的结合，这使得 LLM 从单纯的命令执行者转变为能够独立思考和决策的智能体。智能体的核心是 LLM，它能够理解任务，评估可用工具，并制定计划以实现目标。

• 智能体的作用

  ：智能体通过推理和决策来选择何时使用哪种工具，并根据工具的输出调整后续步骤。

• 工具的多样性

  ：工具可以是任何能够增强 LLM 功能的外部资源，包括但不限于：

  • 网页搜索

    ：获取最新的网络信息。

  • 计算器

    ：处理数学运算，弥补 LLM 在数学计算上的不足。

  • 代码解释器

    ：运行 LLM 生成的代码并返回结果。

  • 数据库查询

    ：从公司数据库中检索信息。

  • API 调用

    ：使用外部服务的 API，如天气、地图和日历等。

  • 自定义工具

    ：根据特定需求开发的工具。

ReAct（Reason + Act）模式是智能体常用的思维模式。LLM 通过推理决定采取何种行动，执行行动后观察结果，并根据结果调整后续步骤。这种模式让 LLM 的决策过程更加透明和可追踪。

4.3 想象一个智能体的工作流程

假设你要求智能体“找到明天从洛杉矶到旧金山的最低票价的机票，并通过我的邮件发送”。智能体的工作流程可能如下：

1. 推理

   ：“我需要找一张机票，为此我应该使用‘航班搜索’工具。”

2. 行动

   ：调用航班搜索工具，查找明天从洛杉矶飞往旧金山的机票。

3. 观察

   ：接收工具返回的航班和价格列表。

4. 推理

   ：“我应该选择最便宜的机票并发送电子邮件。”

5. 行动

   ：选择最便宜的机票，并将信息传递给邮件发送功能。

6. 结果

   ：机票信息直接发送到你的收件箱。

4.4 记忆模块

记忆模块是解决 LLM 健忘问题的关键。它通过短期记忆和长期记忆，使智能体能够保持对话的连贯性和上下文。以下是几种常见的记忆类型：

• 对话记忆

  ：这是最常见的一种记忆类型，它会保存与用户的所有对话或其重要部分。这样一来，LLM 就可以参考对话中的早期步骤，例如说“关于您之前提出的 X 主题……”。

• 实体记忆

  ：它会选取并存储对话中提到的重要实体（如人名、地点名、产品名等）以及与之相关的信息。

• 知识图谱记忆

  ：LLM 可以通过在图形结构中存储更复杂的关系来进行更深入的推理。

• 向量数据库实现的长期记忆

  ：这是一种更高级的记忆方式，但非常强大。你可以将任何感兴趣的文档、旧对话或文本数据转换为“向量嵌入”这种数字形式，并将它们存储在特殊的数据库中，例如 Pinecone、Chroma、FAISS 等。当 LLM 对问题给出答案时，数据库会提供最相关的信息，这些信息会合并到数据库的答案中。

这其实就是 RAG（检索增强生成）的核心原理！它让 LLM 像你自己的个人 Google 一样，能够根据你的需求提供精准的信息。

4.5 数据摄取和检索（RAG）：向 LLM 提供你自己的信息

RAG（检索增强生成）是让 LLM 与你的私人数据、公司文档或任何信息池对话的关键。RAG 的工作流程包括：

1. 数据加载

   ：将你的文档（PDF、TXT、HTML 等）加载到系统中。

2. 分块

   ：将输入数据细分为更小的部分。

3. 创建嵌入

   ：将文本转换为数字向量，进行语义解释。

4. 存储在向量数据库中

   ：将向量和文本片段存储在向量数据库中。

5. 用户查询

   ：用户的问题通过相同的嵌入模型转换为查询向量。

6. 检索和生成

   ：数据库找到最相关的向量，将相关内容与用户问题结合，作为提示输入到 LLM 中。

4.6 回调和日志记录：幕后发生了什么？

随着编排流程的复杂性增加，跟踪每个步骤、LLM 的响应和使用的工具变得至关重要。通过回调和日志记录，你可以监控整个过程，调试问题并优化性能。良好的日志记录策略从一开始就非常重要。

将 LLM 视为超级聪明的实习生，他们可以编写、总结甚至编写代码，但处理大型项目时需要一个经理（编排者）来分解任务，提供正确的文档（工具/RAG），帮助他们记住过去的对话（记忆），并确保最终工作是完善和有用的。

4.7 深入了解：关键编排概念的实际应用

想象一下，你的 LLM 就像一位技艺高超的厨师（比如 GPT-4、Claude 等），但它只能按照自己的食谱书（训练数据）来烹饪。如果要求它用从未见过的食材（比如最新的新闻、公司的私有数据）来制作一道菜，它可能会遇到困难，甚至胡乱猜测。

RAG（检索增强生成）就像是给这位厨师配备了一台平板电脑，连接到一个庞大且不断更新的杂货数据库和你的个人食品储藏室清单。下面是一个简化的流程：

1. 你提出一个问题

   ：“根据最新的内部报告，我们产品 X 的第三季度销售数据是多少？”

2. 检索相关信息

   ：LLM 从数据库或外部来源检索相关信息。

3. 生成响应

   ：LLM 使用检索到的信息生成响应。

4. 输出

   ：响应呈现给用户。

5 外面有什么？流行的 LLM 编排框架

在实现 LLM 编排方面，开发人员可以使用多个强大的框架和工具。这些工具旨在简化构建、管理和监控复杂 AI 应用程序的复杂性。LangChain 和 LlamaIndex 等流行的开源框架为创建链、管理智能体和实施检索增强生成（RAG）管道提供了全面的组件。它们被广泛采用，并拥有广泛的社区支持和大量示例。

除了这些老牌玩家之外，其他专业工具和框架不断涌现，每个工具和框架都具有独特的优势。对于特别关注 TypeScript 并从头开始寻求强大的内置可观察性的开发人员，VoltAgent 提供了一个引人注目的选择。

VoltAgent：一个敏锐关注可观测性的 TypeScript 框架

VoltAgent 是一个开源 TypeScript 框架，专为构建和编排 AI 智能体和 LLM 应用程序而设计。它为开发人员提供了创建复杂工作流的工具，其中 LLM 可以与各种数据源、外部 API 和其他服务进行交互。VoltAgent 的一个关键重点是其 可观测性 功能。VoltAgent 控制台 允许开发人员在 n8n 样式的画布上可视化其智能体的整个执行流程。这使得调试、跟踪决策过程、监控性能以及了解与智能体作中每个步骤相关的 LLM 成本变得更加容易。这种可视化的可观测性方法有助于揭开复杂 LLM 链和智能体行为的“黑盒”性质的神秘面纱，使开发和维护更易于管理。

如果您正在寻找一种现代的、TypeScript 优先的 LLM 编排方法，并且具有内置的可视化调试和跟踪功能，那么 VoltAgent 绝对值得探索。您可以在此处找到其 文档，并在 GitHub 上找到该项目。

6 亲自动手：开始使用 LLM 编排的提示

理论固然重要，但如何将这些概念付诸实践呢？这可能看起来有些令人生畏，但以下是一些实用的提示：

6.1 打下坚实的基础

• 了解 LLM 的工作原理

  ：从基本层面上了解 LLM 是什么、它们是如何训练的以及“提示工程”的含义非常有用。探索问题：“我如何从 LLM 那里获得我想要的答案？”

• 掌握编程语言

  ：现在非常流行的编排框架，比如 LangChain，通常是基于 Python 或 JavaScript 的。熟悉其中至少一种会让你的生活更轻松。Python 在社区支持和库多样性方面似乎领先于该领域的其他语言。

6.2 找一个问题来解决（或编一个！）

从一个实际问题开始往往比陷入理论泥潭更有意义。一个问题可能是：“我可以使用 LLM 和编排来自动化这个烦人的 X 任务吗？”或者“如果我制作自己的个人 Y 助手会怎样？”

• 我的第一个项目很简单

  ：一个智能体，它会在我最喜欢的博客上获取新文章，为我总结它们，并根据我的兴趣对它们进行排名。这并不复杂，但足以让我踏上发现基本概念的道路！

6.3 选择一个编排框架并开始修补

• LangChain 是一个很好的起点

  ：它的文档非常广泛，并且有许多预先编写的示例（说明书）。

• 安装框架

  ：在大多数情况下，你从以下内容开始：pip install langchain。

• 编写你的 “Hello World”

  ：创建一个进行非常简单的 LLM 调用的链。然后逐渐添加一个工具，熟悉记忆模块。

6.4 一步一步地进行，从简单开始

• 创建一个简单的链：向 LLM 提问，得到答案。
• 添加工具：让 LLM 使用计算器或搜索 Web。
• 添加记忆：制作一个记住对话历史记录的聊天机器人。
• 在你自己的数据上试用 RAG：通过 LlamaIndex 等工具上传一个小文本文件，并向 LLM 询问有关此文件的问题。
• 每一个小小的成功都会激励你迈出下一步：起初我也因为试图一次做所有事情而感到困惑，但后来当我说：“等等，让我先完成这一步时，事情就变得容易了。”

6.5 查看大量示例代码并观看教程

• 官方文档物超所值

  ：LangChain 和 LlamaIndex 等工具的官方文档包含数百个示例代码和使用案例。

• 搜索教程

  ：你可以在 YouTube、Medium 和任意数量的博客上找到有关这些主题的无数教程和指南。搜索类似 “LangChain tutorial for beginners” 的内容就足够了。

• 查看开源项目

  ：GitHub 上的开源项目提供了宝贵的参考。其他人如何使用这些工具具有很强的指导意义。

使用 LLM 和编排进行构建是一个不断发展的领域。会有反复试验。拥抱学习过程，庆祝小胜利，不要害怕尝试。AI 领域正在快速发展，动手实践是跟上步伐的最佳方式。

7 小结

是的，亲爱的朋友们，我们已经开始了进入这个令人兴奋的世界的旅程，这个世界被称为 LLM 编排。我们发现，它不仅是一组很酷的技术术语，而且实际上是人工智能在生活各个领域变得更智能、更有能力和更有用的关键之一。

现在轮到你了。你打算用这些知识做什么？你打算费尽心思解决什么问题？ 也许你会从一个小爱好开始，或者你可能会为下一个大型创业公司奠定基础。无论发生什么，都不要停止学习、尝试，最重要的是，梦想。

普通人如何抓住AI大模型的风口？

领取方式在文末

为什么要学习大模型？

目前AI大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 ， 大模型作为其中的重要组成部分 ， 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力， 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ，为各行各业带来了革命性的改变和机遇 。

目前，开源人工智能大模型已应用于医疗、政务、法律、汽车、娱乐、金融、互联网、教育、制造业、企业服务等多个场景，其中，应用于金融、企业服务、制造业和法律领域的大模型在本次调研中占比超过 30%。

随着AI大模型技术的迅速发展，相关岗位的需求也日益增加。大模型产业链催生了一批高薪新职业：

人工智能大潮已来，不加入就可能被淘汰。如果你是技术人，尤其是互联网从业者，现在就开始学习AI大模型技术，真的是给你的人生一个重要建议！

最后

如果你真的想学习大模型，请不要去网上找那些零零碎碎的教程，真的很难学懂！你可以根据我这个学习路线和系统资料，制定一套学习计划，只要你肯花时间沉下心去学习，它们一定能帮到你！

大模型全套学习资料领取

这里我整理了一份AI大模型入门到进阶全套学习包，包含学习路线+实战案例+视频+书籍PDF+面试题+DeepSeek部署包和技巧，需要的小伙伴文在下方免费领取哦，真诚无偿分享！！！
vx扫描下方二维码即可
加上后会一个个给大家发

部分资料展示

一、 AI大模型学习路线图

整个学习分为7个阶段

二、AI大模型实战案例

涵盖AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，皆可用。

三、视频和书籍PDF合集

从入门到进阶这里都有，跟着老师学习事半功倍。

四、LLM面试题

五、AI产品经理面试题

六、deepseek部署包+技巧大全

😝朋友们如果有需要的话，可以V扫描下方二维码联系领取~