大家好，我是冰点，今天我们聊聊一个不太中听、但每个想做企业大模型落地的人都绕不开的话题：为什么绝大多数公司的大模型项目，都死在了「Demo 很惊艳，上线很骨感」这一步。
先自我介绍两句。我做了十几年系统架构，早年在车联网行业折腾车载终端接入和 IoT PaaS 平台，后来又在物流行业做了几年核心系统，运单、调度、客服这些都碰过。2023 年大模型火起来之后，我一方面自己在物流和车联网场景里做大模型落地的研究和实践，另一方面也被不少朋友拉去「把脉」——看看他们公司的 AI 项目为什么推不动。看得多了，我发现大家踩的坑惊人地一致，这一节就把这些坑摊开讲讲。

Demo 能跑，和线上能用，是两码事

我先讲个真事。去年一家做城配的物流公司找到我，他们技术团队用开源框架搭了个智能客服 Demo：把运单查询、时效说明喂给大模型，内部演示的时候，老板问「我的货到哪了」，模型对答如流，全场鼓掌。老板当场拍板：下个月上线。
结果上线第一周就崩了。不是模型变笨了，是真实环境里的问题 Demo 里根本遇不到：高峰期几百个客户同时咨询，接口排队排到超时；客户发来的单号带空格、带错别字、甚至直接拍一张面单照片，模型要么瞎编要么拒答；最要命的是有个客户问「我的货是不是丢了」，模型热情洋溢地编造了一个不存在的赔付方案，截图直接进了客诉群。

这个场景我太熟悉了。当年做物联网平台的时候一模一样：单台设备联调，数据唰唰地上来，大家都觉得成了；等十万台车载终端同时在线，连接风暴、消息堆积、时钟漂移，全都来了。大模型只是把这件事又重演了一遍——Demo 验证的是「模型聪不聪明」，生产考验的是「工程体系扛不扛得住」，而后者恰恰是大多数团队没准备的。

四个真实存在的痛点

把脉了这么多项目，我把企业落地大模型的痛点归成四类，你可以对照一下自己公司中了几条。
第一，Demo 可用，生产难用。 上面那个故事就是典型。没有超时熔断、没有输入清洗、没有兜底话术、没有灰度，Demo 里缺的每一块板，到了线上都会变成漏水的地方。
第二，成本算不过来账。 另一家做车队管理的公司，给车载语音助手接了大模型，觉得按 Token 计费很便宜。上线后才发现，车机上大量是「导航回家」「调低空调」这种本机指令就能解决的问题，全被送进了大模型；一个月下来，Token 账单比他们整个车机流量费还高。大模型的成本结构很隐蔽：单次调用便宜，架不住量大、 Prompt 长、上下文越滚越多。
第三，做完一个场景，复制不出第二个。 很多公司第一个 AI 场景是「突击队」模式做出来的——几个骨干闭关一个月，硬编码了一堆 Prompt 和流程，上线了。然后呢？业务部门排队提需求，团队发现每个新场景都要从头再来，之前的代码根本复用不了。这就不是做项目，这是手工作坊。
第四，也是最要命的，说不清业务价值。 说实话，不少项目立项的真实原因是「老板觉得我们不能没有 AI」。上线之后，领导问「这东西到底给公司省了什么、赚了什么」，团队答不上来，只能汇报「日均对话轮次」「用户好评率」这种自娱自乐的指标。答不上来的项目，第二年预算必砍。

【插图建议：「落地鸿沟漏斗」——100 个立项的 AI 场景，到试点剩 40，到上线剩 15，到规模化剩 5，到有可量化业务价值剩 2】

病根不在模型，在认知

痛点是表象，我更想聊聊病根。我观察下来，出问题的团队在认知上有个共同特征：重模型、轻工程，重算法、轻业务。
最典型的表现是，团队花 80% 的时间纠结「哪个模型跑分高 0.5」「要不要等下一代模型」，却没人认真设计超时重试、没人管 Prompt 版本、没人算 Token 成本模型。还有的团队，项目启动先招两个算法工程师，结果人家来了发现没数据可训、没算力可用，真正缺的——懂业务流的架构师和能把工程做扎实的开发——反而没有。
这让我想起早年车联网行业的一个争论：车机语音到底是「识别率」重要还是「听得懂人话之后能不能办成事」重要。后来的答案大家都知道了——用户不在乎你的模型多先进，只在乎说「我冷了」之后空调是不是真开了。大模型一模一样：模型能力决定下限，工程体系决定上限，业务理解决定这东西到底有没有存在的必要。

这一章后面要讲什么

看清了痛点和病根，接下来的内容就有方向了：1.2 我们拆解主流大模型技术体系，搞清楚各家模型到底擅长什么；1.3 讲公有云、私有化、开源三条路线怎么选；1.4 聊不同规模企业的落地规划；1.5 则把「从 Demo 到生产」这件事拆成一份可以直接照做的改造清单。
一句话总结这一节：大模型落地难，难的从来不是模型，而是把模型当成一个真正的生产系统来对待。想清楚这一点，我们再往下走。