一场价值百万的“翻车”现场

上个月,我亲眼目睹了一场惨烈的项目复盘会。

某传统制造企业,砸了200万,请了头部云厂商的技术团队,耗时3个月,要做一个供应链智能决策体。结果呢?上线第一周,AI把紧急订单全部排给了产能已经饱和的产线,采购部门差点集体辞职。

技术总监一脸无辜:“我们用的可是国内最强的大模型API,也做了微调,怎么就不行?”

问题出在哪?他们做的,本质上就是一个“套壳应用”——把大模型API接进企业微信,喂了几份PDF手册,加了个RAG(检索增强生成),就美其名曰“智能体”。

这不叫企业AI智能体,这叫“大模型聊天机器人豪华版”。

你看到的“智能”,背后全是“脏活累活”

企业AI智能体开发,真正核心的,是一套系统工程。大模型只是大脑,但一个完整的人,还需要神经系统、骨骼、肌肉、感官。

这套系统工程里,最关键也最容易被忽视的,是这三个“脏活”:

第一,上下文工程,比模型选型重要10倍。

写Prompt谁不会?但企业级智能体的上下文管理,是一场精密的“信息调度战”。你要设计动态上下文窗口——当前对话该调取CRM里的客户历史,还是ERP里的库存数据?该带上前3轮对话,还是前30轮?上下文不是越长越好,信息密度和相关性才是命门。

硅谷顶级AI团队的数据显示:上下文结构优化得好,7B小模型的效果能吊打胡乱喂数据的70B大模型。选模型是花钱的事,管上下文才是挣钱的事。

第二,工具调用,99%的失败都栽在这里。

大模型Function Calling看着很酷对吧?但到了真实业务场景,调用哪个API、参数怎么映射、异常怎么处理、多个工具怎么协同——这需要一套完整的工具语义层

比如销售智能体要查客户信用额度,你得让它明白:先调财务系统的A接口拿基础额度,再调风控系统的B接口算动态系数,最后根据订单金额做阈值判断。每一步都可能超时、报错、返回空值,你设计了容灾机制吗?降级策略呢?

第三,记忆系统,别以为数据库就够用了。

企业智能体的记忆,不是简单的“存历史聊天记录”。它需要分层:短期记忆处理当前会话的上下文,长期记忆沉淀成知识图谱和用户画像,还有“工作记忆”——记录这个任务做到哪一步了、还有哪些子任务没触发。

我见过最离谱的项目,工程师把所有历史对话全塞进向量数据库,每次检索都像大海捞针。正确做法是按业务周期、任务类型、实体关系做多层索引,让智能体像老员工一样,“记得住事,拎得清重点”。

评估体系,才是区分“玩具”和“工具”的分水岭

消费级应用看DAU,企业智能体看什么?看业务效能的确定性

什么意思?大模型的概率性输出,在企业严苛的KPI面前,就是原罪。你今天问它库存周转率,它给个85分;明天问同一句,它说“根据最新数据,约为87.3”——微小的波动,在自动补货系统里可能造成几十万的库存偏差。

所以真正成熟的企业团队,花在评估体系搭建上的时间,不比开发少:

  • 确定性任务(比如查库存、算工资):要求100%精确,用规则引擎兜底,大模型只做意图识别和参数抽取
  • 半确定性任务(比如写周报、做摘要):设定质量门槛,BLEU、ROUGE、语义相似度多重校验
  • 开放性任务(比如头脑风暴、竞品分析):引入人工反馈闭环,建立持续对齐机制

没有评估体系的智能体,就像没有仪表盘的飞机——你敢让客户坐上去?

说到底,别把“能聊天”当“能干活”

回过头看,“大模型+API”这套组合,顶多帮你搭个Demo。真要落地到企业核心业务,得老老实实啃下四块硬骨头:

精准的上下文调度 + 健壮的工具编排引擎 + 分层的记忆架构 + 严苛的评估闭环

所以下次再有人跟你说“三天搞定企业智能体”,你可以直接问他一句:

“你做的到底是能聊天的玩具,还是能扛KPI的工具?”

答案,往往就在那多出来的90%工作量里。

更多推荐