一、2026年,大模型外呼从"跑通"进入"扛住"阶段

2024年到2025年,大模型外呼的核心命题是"能不能跑通"——大模型能不能理解客户的自然语言、能不能在通话中流畅对话、能不能完成简单的信息采集。Demo跑通了,POC验证了,第一波尝鲜企业上线了。

到2026年,命题变了。“跑通"已经不是问题,问题变成了"扛住”——每天数万通外呼电话同时打出去,语音流理解、大模型推理、任务编排、系统调用全部在实时运转,任何一条链路在高并发下掉链子,影响的不是一通电话,而是成百上千通。

2026年企业级大模型外呼的架构设计,核心不是"能不能用大模型打电话",而是"五条链路能不能在同一个架构中协同扛住生产级并发"。而要理解这个架构挑战,首先要回答一个更前置的问题:企业级外呼,为什么同时需要这五条链路?


二、企业级外呼,为什么同时需要五条链路

一个容易产生的误解是:大模型外呼就是"把大模型接到电话系统上"。如果只是让大模型在电话里说几句话,确实不需要什么复杂的架构。但企业级外呼不是"打电话聊天",而是"打通电话,办完一件事"。

以售后回访为例:系统外呼客户,回访上周的维修体验。如果客户满意,记录并结束;如果客户不满意,查询维修记录,判断问题类型,需要时创建工单。这通电话要完成,以下五条链路缺一不可。

实时语音链路:客户在说话的同时,系统就要理解他在说什么,判断他是否说完了、该不该接话。客户说"还行吧,就是修完之后还是有点响",语义VAD需要判断这个"吧"后面是停顿还是说完,流式输出需要在生成第一个字时就开始合成播报。如果语音链路慢了,客户听到的是沉默——电话场景中,沉默超过一秒,客户就会觉得"出问题了"。

通信并发链路:同一时刻,系统可能同时在打几百通这样的电话。每一通都在消耗算力做语音理解和大模型推理。传统外呼的并发瓶颈在电话线路,大模型外呼的并发瓶颈转移到了GPU/CPU算力。如果算力分配没有优先级机制,一通营销电话和一通催收电话在争抢同一块GPU,催收电话的推理延迟飙升,客户听到的是沉默。

LLM推理链路:客户说的"还行吧,就是修完之后还是有点响",意图不是"满意"或"不满意"二选一,而是"基本满意但有具体问题"。大模型需要在通话过程中实时判断意图,而且不同意图的推理复杂度差异巨大——“好的"和"我上次那个订单好像有问题你帮我查查”——如果都走同一个模型,简单意图被复杂意图的推理延迟拖累。

任务编排链路:这通电话的目的不是"聊天",而是"完成任务"。Agent需要维护一个状态:客户说了什么、已采集哪些字段、还缺什么信息、当前处于哪个流程节点、下一步该做什么。客户中途可能改口——“算了,我说的不是洗衣机,是冰箱”——状态机需要实时更新。如果状态机崩溃了,之前采集的所有信息都丢失,这通电话就白打了。

系统调用链路:Agent要完成任务,需要实时查询CRM中的客户信息、ERP中的维修记录,需要时还要在工单系统中创建记录。这些系统调用不是在通话前就能全部确定的——通话中才知道客户说的问题是什么,才知道需要查哪个系统的什么数据。如果系统调用超时了,编排链路是继续等还是降级?如果等,客户在电话那头听到的是沉默;如果降级,需要让客户感知不到"系统出错了"。

五条链路不是各自独立运转,而是互为依赖。语音链路慢了,推理链路就空等;推理链路卡了,编排链路就断掉,系统调用就白调了,最终客户听到的是沉默或答非所问。这就是企业级外呼为什么同时需要五条链路——不是因为"功能越多越好",而是因为一通电话的业务目标,天然要求这五条链路同时运转。


三、架构取舍:五条链路协同运转时的核心矛盾

五条链路同时运转时,约束条件会相互传导,由此产生三组贯穿全系统的核心矛盾。架构设计的本质,不是"解决"这些矛盾,而是"管理"它们——在矛盾的两端找到适合企业级外呼场景的平衡点。

矛盾一:时延 vs 准确度——端到端延迟预算如何分配

语音链路越快(判停窗口越小),越容易抢话——客户还没说完,系统就接了。推理链路越快(模型越小),越容易理解错误——客户说"还行吧,就是有点响",可能被理解成"满意"。但这两条链路的速度又不能无限压榨,因为客户对电话交互延迟的感知阈值大约在1秒——端到端超过1秒,客户就会觉得"机器人在想"。

架构层面的取舍是:在"不抢话"的前提下,把时延预算尽可能分配给推理准确度。语义VAD不追求极致判停,而是追求语义判断的准确性——判停窗口控制在能让客户自然停顿的范围内,而不是无限缩小。推理链路对高频简单意图走轻量模型,把省下来的时延预算留给复杂意图。这不是"语音降一点、推理降一点"的简单折中,而是在一个固定的端到端预算内,按优先级动态分配——准确度优先于极致速度。

矛盾二:并发 vs 成本——算力资源如何分配

每增加一路AI通话,就多一份算力消耗。企业级外呼的日均外呼量在数万到数十万通,如果按峰值并发配置硬件,私有化部署的硬件成本极高且平时大量闲置;SaaS部署虽然弹性,但按量付费的成本随外呼量线性增长。同时,不同外呼任务的业务价值也不同——催收电话和营销电话,对AI算力的需求优先级完全不同。

架构层面的取舍是:不是在"并发"和"成本"之间二选一,而是通过优先级调度让算力花在刀刃上。核心思路是分级保障——高优任务在任何负载下都保障AI算力,不降级;低优任务在资源紧张时降级为传统IVR或排队。部署方式的选择也是这个矛盾的一部分:SaaS适合波动大的场景,利用云端弹性削峰填谷;私有化适合稳态场景,硬件成本前置但长期边际成本低。架构设计的关键不是"哪种部署更好",而是"并发调度策略能否适配部署方式"。

矛盾三:状态一致性 vs 容错性——异常时是死守状态还是接受降级

任务编排层的状态机需要实时更新,但通话中可能出现各种异常:客户突然挂断、系统调用超时、网络抖动。如果每个异常都要求状态严格一致——系统调用超时了就重试,重试失败就再重试——状态机就会卡死,客户在电话那头已经等了数秒,最终听到的是沉默。

架构层面的取舍是:区分"可恢复状态"和"不可恢复状态"。客户挂断前已采集的字段是可恢复的,需要持久化,下次外呼可以继续;正在进行的系统调用是不可恢复的,超时后直接丢弃,状态机回滚到最近的持久化节点,重新进入决策流程。核心原则是:持久化"采集了什么",不持久化"正在做什么"。这意味着一通电话中的部分操作是可以丢弃的——只要客户无感知,丢掉的只是"未完成的操作",不是"已经完成的工作"。


四、从架构瓶颈出发的调优思路

三组矛盾的取舍策略,最终体现为对具体架构瓶颈的调优。以下不是孤立优化某一条链路,而是从五条链路协同运转时已知的瓶颈点出发,给出调优方向和设计思路。

实时语音层:流水线并行替代串行等待

瓶颈在于串行架构。ASR转写、语义VAD、TTS合成三个模块如果串行处理,每一步等前一步完成,端到端延迟是三者之和。调优方向是将三个模块改为流水线并行——ASR实时输出增量转写结果,语义VAD在收到第一个语义单元时就开始判停,TTS合成在推理链路输出第一个token时就开始合成播报。三个模块之间通过消息队列传递增量数据,各自独立处理各自的数据片段。语音缓存在问候语、确认话术等共性场景中预生成,命中时跳过整个处理链路直接播放。

LLM推理层:意图分级替代一刀切

瓶颈在于所有意图走同一推理链路。客户说"好的"和"我上次那个订单好像有问题你帮我查查",推理复杂度天差地别,但如果没有分级路由,简单意图被复杂意图的延迟拖累。调优方向是建立意图分级路由——第一级规则匹配处理高频简单意图,延迟几乎为零;第二级轻量模型处理常规意图,延迟控制在极低水平;第三级主模型只处理真正需要深度推理的复杂意图。推理结果缓存对相同意图加相同上下文的请求直接复用,避免重复推理。

系统调用层:快速失败替代无限等待

瓶颈在于编排层向系统调用层发起请求后,如果被调系统响应慢或超时,编排层状态机在等待中卡住,语音层播放沉默。调优方向是分级超时策略——第一级超时(短阈值)返回"等待中",编排层播放过渡话术;第二级超时(中阈值)返回"降级",编排层跳过该调用或转人工。高频查询在通话开始时预加载——编排层根据任务类型预判可能需要的数据,提前发起调用并缓存,通话中大概率命中。核心设计原则是"系统调用异常不阻塞通话流程,客户感知不到系统出错"。

通信承载层:优先级调度替代先到先得

瓶颈在于并发高峰时所有通话争抢算力,没有优先级机制时高优业务和低优业务同时受影响。调优方向是在并发调度器中建立三级优先级队列——紧急队列保障核心业务,任何负载下不降级;标准队列在资源充足时正常使用AI算力,紧张时降级;弹性队列在资源充足时排队,紧张时延迟或降级。部署方式配合调度策略:SaaS利用云端弹性扩容吸收峰值,私有化精确计算稳态并发,峰值超出部分通过弹性队列排队消化。


五、合力亿捷:企业级架构的生产级落地

上述架构设计思路,在合力亿捷的大模型外呼系统中已有成体系的工程落地。

实时语音层面,语义VAD判停策略根据语义而非静音时长判断客户是否说完,流式输出实现生成-合成-播报的并行处理,端到端语音交互延迟控制在客户无感知范围内。LLM推理层面,支持按任务时效和复杂度配置不同模型组合,配合意图分级路由和推理结果缓存,在时延、准确度和成本之间取得平衡。任务编排层面,Flow承载从意图识别到转人工的完整流程节点,支持状态机与大模型双轨架构,关键决策路径可审计。系统调用层面,支持超时重试、异常降级和转人工的完整异常处理链路。通信承载层面,自有呼叫中心底座支撑运营商级别的通信承载,AI通话与传统IVR混合调度,支持优先级管理。

这些能力背后,是五条链路协同运转的架构设计,而非孤立的功能堆叠。企业级外呼的可信度,最终取决于五条链路在真实生产环境中能否同时维持正常运转——不是Demo中跑通了某一条链路,而是每天数万通电话中,任何一条都不掉链子。


结语

企业级大模型外呼的架构挑战,核心不在于单项技术指标,而在于为什么五条链路必须同时满足,以及它们之间如何协同。实时语音、通信并发、LLM推理、任务编排、系统调用——不是"五选一",而是缺一不可。三组核心矛盾——时延与准确度、并发与成本、状态一致性与容错性——贯穿架构设计始终,需要在矛盾两端找到适合企业级外呼场景的平衡点。调优不是泛泛优化,而是从各层已知瓶颈出发,给出针对性的设计思路。

生产级AI外呼的架构能力,最终体现在:不是某一条链路做得特别强,而是五条链路能在同一套架构中协同运转,面对每日数万通电话的并发压力,任何一条不掉链子。

更多推荐