AI Engineer World’s Fair / New York 峰会 · 架构实录 | 主讲嘉宾:Nikhil Harithas(Factory 创始团队核心架构师) | 核心主题:Decoupling Agents from Infrastructure: Building Once, Running Anywhere

企业级交付残酷真相:在原型 Demo 阶段,开发者通常习惯把 AI Agent 跑在自己的 MacBook、共享 SaaS 或单一的云端虚拟机里。然而,一旦将自主 Agent 推向全球顶级金融机构(如黑石集团 Blackstone)等严肃企业客户时,团队会遭遇迎头痛击:你所有的“默认设置”都会被彻底推翻(Every default got questioned)——客户严禁 Agent 接触外网、要求自带算力(BYOC)、自带推理引擎(BYOI)、在私有 VPC 内完全隔离运行,且不同客户的基础设施从 Kubernetes 到裸金属 EC2 千差万别。在纽约 AI Engineer 峰会上,Factory 核心架构师 Nikhil Harithas 首次深度解密了如何通过**“计算生命周期与操作系统级驱动(Drivers)解耦”**,彻底破除企业 AI 落地中反复造轮子的泥潭,实现真正工业级的“一次构建、到处运行”。


01 黑石敲门:当企业客户推翻你所有的“默认设置”

Factory 旗下研发的自主软件工程智能体 Droid,最初的设计初衷极其优雅:将 Jira 工单自动分派给 Droid,Agent 自主阅读上下文、调试代码并提交 Pull Request。然而,当他们带着这套系统正式进驻全球最大另类资产管理机构黑石集团(Blackstone) 时,原有的工程假设在一夜之间全线瓦解。

“我们所有的默认假设都被质问并推翻了(Every default got questioned),”Nikhil Harithas 回忆道,“金融级客户有一整套不可妥协的企业基础设施合规红线:”

  • 自带私有算力(Bring Your Own Compute, BYOC):严禁将代码上传至多租户 SaaS 平台或外部临时云。Agent 必须完全部署在黑石集团自己的 AWS/Azure 私有虚拟专有云(VPC)中,数据与模型执行永不离境。
  • 杜绝“借用员工个人凭证”的玩具沙箱:早期 Demo 常让 Agent 借用开发者的个人 GitHub Token 或 IAM 权限。黑石明确指出:Agent 不能永远借用人类身份,它必须作为独立的软件实体,拥有受控的机器服务账号与严格的最小权限 RBAC 审计。
  • 异构基础设施的多样性:有的客户团队指定在现有生产 Kubernetes 集群上起 Pod;有的客户要求通过独立 EC2 运行;有的团队则要求使用 Google Cloud Vertex。企业环境绝无标准形态。

Nikhil 总结道:“我们必须建立一个根基性的心智模型:Agent 不是一个轻量级的提示词脚本,Agent 就是严肃的企业级应用程序;而只要是应用程序,就必须面对复杂的基础设施(Agents are applications. Applications need infrastructure)。”


02 紧耦合之殇:为什么异构环境会让 FDE 陷入重复造轮子的死局?

许多从事前沿部署工程(Forward Deployed Engineering, FDE)的团队,在面对客户纷繁复杂的 IT 环境时,往往会采取“见招拆招”的土办法:为客户 A 写一套对接 K8s 的调度逻辑,为客户 B 改写一套启动 AWS 实例的脚本,为客户 C 甚至要专门重写文件鉴权通道。

这种将 Agent 认知逻辑与底层运行时环境深度绑定 的做法,在工程实践中会带来灾难性的恶果:

基础设施混沌反噬 Agent 核心决策链条:
云环境下的资源调配从来不是一个确定性的函数调用(Provisioning isn’t one API call)。真实世界中:AWS 会突发返回 Slow Down(429 频控告警)、虚拟机实例在请求中途异常宕机、返回消息在网络波动中断联。如果让 Agent 自己的推理代码去兜底这些云厂商的脏活,Agent 的提示词和状态机会被无休止的重试、退避和异常捕获彻底污染。
交付成果沦为“一次性项目定制”:
每次签约新客户,技术团队都需要投入数周时间去重新适配网络拓扑与容器编排。原本高利润的软件标准化产品(ARR),被硬生生降维成了低效的人力外包定制。
迁移与回滚成本极度高昂:
当客户决定从自建机房迁移至私有公有云时,紧耦合架构意味着所有 Agent 的状态、上下文快照与工具链路全部断裂,无法实现平滑热迁移。


03 架构破局:Open Compute 接口抽象与“驱动层(Driver)”解耦

为了从根本上斩断这一乱麻,Factory 提出了革命性的系统设计哲学:将计算机的管理交由平台,将 Agent 的认知留在内部(The thing we manage is the computer; What gets managed stays in the agent)。

他们抽象出了一套极简但完备的 Open Compute 规范接口,确立了“Factory 调度统一 API,具体云厂商由独立驱动实现(Factory calls one API. Drivers implement another)”的分层拓扑:

架构层级核心组件与抽象职责跨平台解耦机制代表性操作原语 / 接口定义
应用层 (Agent Layer)自主决策、代码生成、Tool Calling、状态图编排完全无视物理机器位置,仅面向标准化 Compute Service 通信RunTask(), InspectState(), GenerateDiff()
抽象契约层 (Compute Interface)声明式计算资源生命周期管理契约将异构云的启动、销毁、文件传输与快照统一为五大幂等接口CreateCompute(), DeleteCompute(), WriteFile(), CreateSnapshot()
驱动实现层 (Provider Drivers)隔离不同基础设施厂商的具体协议与报错容灾每个驱动只负责把标准化接口翻译为具体的云 API,吸收网络重试与频控AWS EC2 Driver, Kubernetes Pod Driver, GCP Driver, Docker Sandbox Driver
宿主环境层 (Host Infrastructure)客户完全掌控的私有物理/虚拟环境(BYOC)客户网络出口与安全策略闭环在 VPC 内部,零数据外泄风险Blackstone AWS VPC, Private Bare Metal, OpenShift

惊艳实践:让 Agent 亲自编写云驱动(Droids Wrote the Drivers)

解耦带来的最大工程红利在于极度清晰的**“契约化测试(Contract-Driven Development)”**。Nikhil 在现场披露了一个极具戏剧性的内部里程碑:

当 Factory 需要为新的云基础设施编写适配 Driver 时,他们不再派遣人类工程师加班写对接代码,而是直接将 Open Compute 的接口定义与合规测试集(Test Suite)喂给自己的自主编程 Agent Droid:“请为该云平台实现此契约,并跑通所有单元测试。”

Droid 自动针对该云厂商的 SDK 编写了完整的驱动代码,自主修复了连接池与异常捕获逻辑,并一次性通过了所有集成验证!这意味着系统不仅实现了运行时的完全解耦,甚至连对接新环境的适配成本都被 AI 自身彻底归零。


04 工业级交付指南:企业级 AI Agent 的标准化落地公约

在演讲最后,Nikhil Harithas 面向正在为不同企业客户交付 AI 应用的架构师与前沿部署工程师(FDE),总结了一套不可逾越的标准化交付准则:

严禁让 Agent 关心物理运行细节:
Agent 的上下文只应该包含当前任务目标、仓库代码结构与必要的业务规则。关于“当前是运行在几核 CPU、哪个私有子网、容器通过何种端口映射”的细节,必须严格拦截在驱动层之外。
明确区分“可带走”与“不可带走”的资产:
• 必须解耦与清空:底层云凭证、宿主临时挂载卷、网络特定环境变量;
• 必须可持久化与便携:Agent 的推理轨迹(Reasoning Traces)、长短期记忆、环境文件快照(Snapshots)以及工具调用的标准化契约定义。确保 Agent 可以在几秒钟内从一个故障节点无损恢复到另一个全新容器中继续执行。
拥抱声明式基础设施(IaC)标准化模版:
将支持每个客户 VPC 部署的驱动与网络策略,固化为版本控制的 Terraform / Helm Chart 模版。面对新客户时,部署仅仅是配置几个安全组参数并分发一个新的 Driver,而非翻箱倒柜重写核心逻辑。

“Agent 不该在乎自己到底跑在 AWS、GCP、Kubernetes 还是客户机房的本地服务器上,”Nikhil 总结道,“把计算生命周期锁死在一个标准接口之后,把每个基础设施隐藏在独立驱动之中。从此,面对任何复杂挑剔的企业客户,支持他们的新环境都不过是你的驱动库里多加了一个几百行的文件而已。”


本文全景解析自 AI Engineer World’s Fair / New York 峰会实录《Decoupling Agents from Infrastructure》。由企业级 AI 架构与前沿部署工程实践社区整理发布,涵盖黑石集团私有 VPC 交付挑战、计算生命周期接口抽象、驱动层解耦与自主 Agent 编写驱动实战。

Logo

更多推荐