从 Agent 到 ROI：为什么你的 AI Agent可能比人工还贵？

摘要：本文分析了从Agent到投资回报率：为什么选择人工智能的核心概念与应用实践。作者详细分析了相关技术细节，并结合实际案例展示了最佳操作流程，帮助读者提升工程效率与解决复杂问题的能力。

1、Agent的投资回报率：为什么选择人工智能

从Agent到投资回报率：为什么您的 AI Agent成本可能高于其价值 如今，几乎每次 AI 会议、研讨会或咨询电话中都会有人问我一个问题：“我们应该构建……

如今，几乎每次人工智能会议、研讨会或咨询电话中都会有人问我一个问题：“我们应该为此构建一个人工智能Agent吗？”我的回答几乎总是一样的：“也许。老实说，可能不是。”

这通常不是人们想听到的回应。我们正处于“Agent淘金热”之中，为什么这位人工智能专家不建议大家建立Agent呢？从财富 500 强公司到独立开发人员，每个人似乎都在竞相构建能够推理、计划和执行复杂任务的自主人工智能系统。不幸的是，大多数人只是认为人工智能Agent与成功相关，但这并不能保证。此外，“成功”的含义也千差万别。

在评估Agent人时，我们需要考虑的不仅仅是“Agent人是否得到了正确的答案？”有三个维度很重要：

结果：Agent成功了吗？这就是准则与可验证结果的用武之地。有时您可以客观地验证成功（SQL 查询返回正确的数据）。有时您需要评分标准（客户支持响应是否有帮助以及用户是否积极响应？）。

轨迹：路径是否合理？Agent可以通过两条路径获得正确答案，但其中一条可能更慢和/或更昂贵。低效地获得正确答案仍然是生产中的失败。

行为：它是否在范围内？Agent人是否遵循指示？如果您告诉它在运行 SQL 之前查找证据，是吗？还是它跳过了步骤并幸运了？

Agent可以采取两条不同的轨迹来达到相同的结果。

考虑一个Agent SQL 生成器的示例，该生成器具有运行 SQL 和查找有关数据库的部落知识（称为证据）的工具。在左侧，Agent运行两个 SQL 命令，没有证据查找，工具延迟要高得多。在右侧，它在首先查找证据后运行了一个 SQL 命令。

结果：两者都正确 ✅

轨迹：正确的人获胜➡️

行为：视情况而定！ ❓ 特工是被告知要查找证据还是自行其是？

通过与企业客户合作撰写我最近发布的《构建Agent人工智能》一书，我发现，对于每一个成功的Agent部署，都有数十个Agent的成本比它们所取代的工作流程高出约 3 倍，同时在这三个维度上提供相似的、有时甚至更糟的结果。

2、AI Agent与 AI 工作流程

这是现实世界部署的一个意想不到的结果：确定性工作流程在成本和延迟方面常常比人工智能社区愿意承认的更频繁地击败自主Agent，特别是在短期单次任务中。

“Building Agentic AI”的一个案例研究比较了解决同一问题的两种方法：从自然语言生成 SQL 查询。

• 第一种方法使用简单的 RAG 工作流程——确定性、可预测性，但可以说很无聊。
• 第二个使用完整的工具调用Agent，可以推理问题，决定使用哪些工具，并迭代地完善其方法。

在准确性之外比较人工智能工作流程与人工智能Agent可以显示成本和速度方面的差距。

该Agent的准确率达到了 52.1%，而工作流程的准确率为 48.9%。不错吧？但这是最重要的准确率数字没有显示的内容：

• Agent花费了两倍的时间
• Agent成本增加 3.5 倍
• Agent的推理路径是不可预测的，使得调试比需要的更加困难

对于这个特定的用例，“更智能”的Agent解决方案在几个方面客观上更差。这并不是一个孤立的案例；这种模式在企业部署中反复出现。

3、你什么时候真正需要人工智能Agent？

虽然这个问题没有“教科书”答案，但一些标志一次又一次地出现在我面前。

在以下情况下使用工作流程：

1. 这些步骤是已知的、可重复的，并且很少根据情况而改变
2. 您需要可预测性，成本和延迟至关重要

在以下情况下使用Agent：

1. 解决方案的路径因输入而异
2. 你需要真正的探索才能发现实现成果的最佳途径
3. 运行环境是动态的，并且经常在人工智能不知情的情况下发生变化

在许多情况下，当某些步骤应该是确定性的（例如加载用户上下文）而其他步骤应该受益于灵活性（例如工具选择）时，您还可以使用Agent工作流程（必要时确定性步骤+Agent推理的混合）。

第三类，Agent工作流程，是大多数生产系统实际落地的地方。

4、在编写代码之前：计算实际投资回报率

这是一个简单的框架，来自观察企业团队反复犯同样的错误：先构建，然后计算投资回报率。

预期Agent投资回报率 = (任务价值 × 成功率 × 数量) — (开发成本 + 运行时间成本 + 失败成本)

让我们使用一个半现实的例子：带有示例数字的客户支持自动化：

• 任务价值：15 美元/自动工单（估计人工Agent机会成本）
• 成功率：70%（经过对药剂的广泛测试）
• 数量：1,000 张门票/月
• 开发成本：20,000 美元（例如 2 周 × 10,000 美元/周）
• 运行成本：500 美元/月（LLM + 基础设施）

失败成本是它变得有趣的地方。这是大多数投资回报率计算忽略的部分：

当Agent失败时，会发生什么？

• 人类是否需要修复时间来解决问题：10 分钟/故障 × 30 美元/小时 = 5 美元/Agent故障
• 故障对业务有何影响：也许 5% 的故障会导致客户流失，价值 200 美元 LTV = 5 美元/Agent故障
• 假设两者都需要发生，则每次Agent失败总共需要花费 10 美元

例如，1,000 张票的失败率为 30%：

• 每月 300 次失败
• 失败成本 = 300 × 10 美元 = 3,000 美元/月

每月投资回报率（不包括 2 万美元的前期开发成本）：

• 收入 = 1,000 × 15 美元 × 0.70 = 10,500 美元
• 成本 = $500（运行时）+ $3,000（失败）= $3,500
• 每月投资回报率 = 7,000 美元
• 大约需要 3 个月的时间才能弥补最初 2 万美元的开发费用

这其实还不错！但如果成功率只有 60% 呢？如果失败成本加倍怎么办？所有这些都是影响Agent投资回报率的因素。

5、如何继续使用 AI Agent

我们正处于人工智能Agent的拐点。技术是真实的。潜力是真实的。但可能性与实际之间的差距仍然比大多数人承认的要大。

构建之前：

• 使用上述框架计算预期投资回报率
• 诚实地对待失败成本
• 与假设的工作流程基线进行比较

当您构建和迭代时：

• 开始时最多使用 3-5 个工具
• 实施Agent工作流程，而不是纯粹的自治
• 记录一切（工具调用、推理、成本）

部署后：

• 衡量指标包，而不仅仅是结果准确性
• 在多个模型发布后针对您的特定任务进行测试

最重要的是：愿意走开。如果投资回报率没有意义，如果工作流程击败了Agent，如果失败成本太高，那就构建一些更简单的东西。

未来不是最大的自主权。这是最佳的自主权。知道何时让人工智能决定，何时对答案进行硬编码，可以将炒作与价值区分开来。了解Agent失败的地方与了解他们成功的地方同样重要。

6、参考文献

• 从Agent到投资回报率：为什么选择人工智能