目录

背景:我是怎么被“万能 Agent”坑到改架构的

一、先分清两件事:谁来做,和怎么做

Router 的输出必须是结构化的

二、真正的难点不是“识别意图”,是“复合意图”

三、Skill 不是一个提示词,是一份能力契约

我的 Skill 卡片字段清单

四、Router 一定会判错,所以要按“错得起”来设计

① 澄清:问一个信息增益最大的问题

② 低置信度不是统一阈值,要按风险分级

③ 用户纠正入口,是唯一能自我进化的部分

五、Skill 上百个之后:两段式路由

第一段:召回(便宜、宽、可解释)

第二段:精排(贵、窄、可解释)

六、我把四种架构放在一起比

七、如果我来落地:最小可行版本与评估

两周能跑起来的 MVP

我用来判断“路由到底行不行”的指标

深度思考:路由是在做信息压缩,不是在做更聪明的事

总结要点


摘要:我做过也见过太多“万能 Agent”——把所有规则、工具、业务说明塞进一个超长 prompt,然后指望模型每次都选对。这条路在能力超过 10 项之后一定崩,崩的原因不是模型不够聪明,而是意图判断和执行方法这两件事被混在了一次推理里。这篇我会讲清我的解法:Router 只负责“这件事该交给谁”,Skill 只负责“这类事该怎么做”,以及在复合意图、低置信度、上百个 Skill 的场景下,我怎么把这两层真正做稳。

背景:我是怎么被“万能 Agent”坑到改架构的

最早做客服类 Agent 的时候,我的思路很朴素:用户说什么都往里塞,把所有工具的描述、全部业务规则、几十条 few-shot 拼成一个巨大的 system prompt,然后开一个 ReAct 循环让它自己想。

Demo 阶段效果惊艳。但上线之后问题就一层层浮出来,而且全都是同一类问题:

  • 上下文越来越长:工具从 5 个长到 30 个,光是工具描述就吃掉几千 token,每次请求都在为“可能用不上的能力”付费。
  • 相近能力互相干扰:同时存在“查订单”“查物流”“查退款进度”三个工具时,模型在“我的东西还没到”这句话上会随机摇摆,而这三条路径下游的动作完全不一样。
  • 每次都在重新发明做法:同一个退款流程,模型今天按 A 顺序做,明天按 B 顺序做,中间漏掉“是否需要用户二次确认”的概率肉眼可见地高。
  • 无法评估:你没法给一个“什么都干”的 Agent 写测试集。出错时你也说不清是意图判断错了,还是执行步骤错了。

我后来意识到,问题不在 prompt 写得好不好,而在我把两个正交的问题合并成了一次推理:这件事是什么(意图识别),以及这件事该怎么做(流程执行)。前者是分类问题,后者是能力封装问题。把分类问题交给一个正在做流程推理的大模型,本质上是用最贵、最不稳定、最难评估的方式,去解一个本来可以很便宜、很确定的问题。

所以我把架构拆成两层:一个轻量的 Router 先做意图判断,判断完只加载对应的 Skill。Router 是“调度台”,Skill 是“作业指导书”。这不是新发明,但它是我目前唯一敢往业务系统里推的形状。

一、先分清两件事:谁来做,和怎么做

我给这两个角色的定义非常克制,克制到有点无聊,但正是这种无聊让它稳定:

角色回答的问题产出
Router这件事交给谁?是单一任务还是复合任务?我现在有把握吗?结构化路由结果:意图、候选 Skill、置信度、已识别的槽位、是否需要追问
Skill这类事情按什么步骤做?能查什么、能改什么、哪里必须停下来问人?执行过程 + 结果,以及一组明确的边界策略(自动处理线、转人工线)
「Router 解决的是这个事应该交给谁,Skill 解决的是这类事情应该按照什么方法完成。」—— 原始视频

我把这条边界当成硬规矩来守:Router 里不允许写业务逻辑,Skill 里不允许做路由判断。一旦破例,比如让某个 Skill 在内部偷偷判断“用户是不是其实想退货”,你很快就会回到“多个地方都在猜意图”的混乱状态,而且这些猜测之间还会互相矛盾。

Router 的输出必须是结构化的

我坚持让 Router 输出 JSON,并用 schema 校验。自由文本的路由结果无法做阈值判断、无法做埋点统计、无法在置信度低的时候自动降级。下面是我实际在用的一版,字段不多但每个都有用途:

{
  "primary_intent": "aftersale.refund",
  "secondary_intents": ["order.query"],
  "candidate_skills": [
    { "id": "aftersale.refund", "score": 0.91 },
    { "id": "aftersale.exchange", "score": 0.44 }
  ],
  "slots": { "order_id": null, "item": "饮料", "reason": "少送" },
  "missing_slots": ["order_id"],
  "confidence": 0.91,
  "need_clarify": false,
  "risk_level": "medium"
}

几个细节值得说:secondary_intents 是我加了最多血泪的字段,missing_slots 让追问变成“补参数”而不是“再聊一轮”,risk_level 决定后面走自动执行还是强制确认。

为什么 Router 不能顺便干点业务?因为它的错误代价是不对称的、而且不可逆。Router 判错了,后面 Skill 再完美也救不回来——它会在错误的流程里正确地执行完毕。我在设计时把 Router 当成一个“高优先级、低自由度”的组件:只允许它做归类、抽槽位、给置信度,不允许多轮推理,不允许多次工具调用,最好连工具都不给它。

二、真正的难点不是“识别意图”,是“复合意图”

单意图分类是个已经被解决得差不多的工程问题:微调小模型、embedding 最近邻、或者一次 LLM 结构化输出,都能做到不错。真正让 Router 翻车的是一句用户话里装了两三件事。

我拿一个真实到有点烦的例子来走一遍:

用户原话:「我外卖少了一杯饮料,能不能直接退钱?」

这句话表面是“退款”,但拆开看至少三层:

  1. 订单侧:要定位是哪一单、哪一项、金额多少(缺槽位,可能要追问或从上下文补)
  2. 售后侧:少送属于“商品缺失”,走部分退款而不是整单退款
  3. 商家侧:部分商品是否必须先协商商家、金额阈值以下才能自动处理

如果 Router 只输出一个 refund 标签,下游的退款 Skill 会拿整单去做退款,或者卡在“你没有提供订单号”上原地打转。用户要的其实不是“退款”这个标签,而是一份最小可执行的计划。

所以我让 Router 输出的不是 intent,而是 intent + 依赖关系:先查订单拿金额,再进售后 Skill 走部分退款,如果金额超过阈值就插入商家协商节点。它不需要规划到每一步,只需要说清“先做 A 再做 B,B 依赖 A 的输出”。

复合意图的工程做法:让 Router 输出 steps: [{skill, depends_on, required_inputs}] 这样的轻量计划,而不是把所有能力交给一个更聪明的 planner。复杂规划交给专门的 planner 是另一条路,但我想先把 80% 的“两三个能力串起来”的场景用确定性搞定,剩下的才交给模型自由发挥。

三、Skill 不是一个提示词,是一份能力契约

我见过最多的误解,是把 Skill 当成“一段写得比较好的 prompt”。如果 Skill 只有提示词,那你只是把 mega prompt 拆成了多个小 prompt,问题一点没解决。

对我来说,一个 Skill 是能力契约:它承诺“在什么条件下我能处理这件事”“处理时我按什么步骤”“我能碰哪些工具、碰不到什么”“什么时候我必须停下来找人”。这几件事里,只有“步骤”和提示词有关,其余都是工程约束。

我的 Skill 卡片字段清单

字段作用缺了会怎样
name / version唯一标识 + 版本,供 Router 引用Router 规则和 Skill 实现悄悄漂移
when_to_use典型触发说法,给召回和精排用召回阶段捞不到,Skill 形同不存在
when_not_to_use明确排除项,最容易混淆的邻居退款抢走质量投诉、换货抢走退款
required_slots执行前必须齐的参数执行到一半才发现缺参数,体验断裂
tools工具白名单 + 读写属性 + 风险等级Agent 能调到不该调的写接口
knowledge_refs只需要的那一小块业务知识又变成把全量文档塞进上下文
policy金额阈值、自动处理线、转人工线边界靠模型自觉,等于没有边界
confirm_policy哪些动作执行前必须二次确认不可逆操作被“顺手”执行了
output_schema结果结构,供上游和埋点消费结果无法被程序判断,只能给人看
eval_cases该 Skill 的正例 / 反例 / 边界例改了卡片不知道有没有把邻居抢过来

其中 when_not_to_use 是我认为性价比最高的一个字段。写它的时候你会被迫回答一个非常具体的问题:“跟这个 Skill 最像、但不该走这里的三种说法是什么?” 这个字段直接决定了相邻能力之间的分离度。

id: aftersale.refund
version: 1.3.0
when_to_use:
  - 少送 / 漏送 / 错送,要退部分或全部金额
  - 商品未按约定送达且用户明确要求退钱
when_not_to_use:
  - 商品本身有质量或安全问题(走 quality.complaint,可能涉及赔付与下架)
  - 用户只想换一件而不是退钱(走 aftersale.exchange)
required_slots: [order_id, item_id, reason]
tools:
  - order.get_detail        # read
  - refund.create_partial   # write, risk=high
  - merchant.notify         # write, risk=mid
policy:
  auto_refund_max: 20      # 元;以下自动处理
  require_merchant_confirm_over: 50
confirm_policy:
  - refund.create_partial  # 执行前必须用户二次确认
escalation: human_agent_if_repeat_refund_3_times

注意 refund.create_partial 上标的 risk=high 和 confirm_policy。这一条比任何一句“请谨慎执行退款”的提示词都有效,因为它是可被程序强制执行的约束,而不是一句请求模型配合的建议。我现在的默认立场是:能用代码拦住的,绝不写在 prompt 里求模型自觉。

四、Router 一定会判错,所以要按“错得起”来设计

我见过最典型的路由事故是这样的:用户说「这个杯子漏水,我不想要了」。关键词里出现了“不想要”,Router 相当自然地把它送进退款流程。但真正需要处理的可能是质量投诉、换货,甚至是安全问题(漏水可能涉及电器)。

这类错误说明一件事:关键词级的路由永远只是候选生成,不是决策。口语表达里“不想要”可以映射到退款、退货、换货、投诉四种后端流程,它们的分岔不在字面,而在商品属性、时间窗和用户真实诉求里。

我给 Router 配了三条兜底机制,缺一条我都不敢上线:

用户请求口语、多义、信息不全

→

Router候选召回 + 精排 + 置信度

→

低置信 / 复合追问、多能力组合、降级

→

Skill 执行按契约步骤跑,卡点转人工

→

结果 + 埋点纠正样本回流 eval

① 澄清:问一个信息增益最大的问题

不是“请问您具体想办理什么业务”,而是给出二选一:「您是想退这一杯的钱,还是想反馈杯子漏水这个质量问题?」把候选直接摊开让用户点,比让用户重新描述有效一个数量级。我要求 Router 在 need_clarify=true 时必须同时给出 2~3 个候选意图,澄清才有可选项。

② 低置信度不是统一阈值,要按风险分级

这是我最想强调的一点。很多人会设一个全局阈值 0.7,低于就追问。但错误的代价是不对称的:把“退款”错判成“咨询”,用户多说一句话;把“投诉”错判成“自动退款”,是资金损失加坡客诉。

所以我按 Skill 的风险等级设不同阈值:低风险只读类 Skill 阈值可以放到 0.5,高风险的写操作 Skill 我要求 0.9 以上,甚至要求“必须有两个独立信号一致”(比如语义分高 + 槽位齐全)才允许自动执行。

③ 用户纠正入口,是唯一能自我进化的部分

每一次用户点“我不是这个意思”,都是一条高价值标注。我会把它记成 (query, router_candidates, chosen, corrected_to) 四元组,直接进回归集。没有这个入口,你的路由准确率只能靠离线猜。

落地顺序我会这么排:先做纠正入口和埋点,再做澄清,最后才去调阈值和模型。因为前两件事决定了你有没有数据可调,而调阈值是这三件事里最便宜的。

五、Skill 上百个之后:两段式路由

业务长起来之后,Skill 数量破百是必然的。这时第一个诱惑是“把所有 Skill 的说明都塞给模型,让它自己选”,第二个诱惑是“那就微调一个分类模型”。两个我都试过,我的结论是:分类器负责把候选砍到个位数,模型只负责在个位数里做最终确认。

第一段:召回(便宜、宽、可解释)

候选召回我用 hybrid:BM25 类字面匹配 + embedding 语义召回 + 业务域硬过滤(比如已登录用户的会员等级、订单状态直接排除一批不可能的能力)。

为什么要 hybrid 而不是纯向量?因为用户说的是口语,纯语义空间里“退款”和“退货”几乎重合,但流程完全不同;反过来纯字面匹配又会漏掉“钱退我”这类说法。两路各取 top-20 再合并去重,召回率会明显稳。

第二段:精排(贵、窄、可解释)

只把召回得到的 5~8 张 Skill 卡片(不是全文,只有 when_to_use / when_not_to_use / 一句话能力描述)交给一个快模型做最终确认,输出 primary_intent 和 confidence。

这一步我用的是小模型而不是最强模型,理由是:候选集已经被砍到个位数,任务退化成“在 8 个选项里做单选 + 抽槽位”,小模型完全够用,成本能降一个数量级,延迟从我实测的秒级压到几百毫秒。真正需要强模型的地方在 Skill 内部的多步执行,那里才是模型智能的用武之地。

两段式路由的本质是“分层决策”:先用便宜的粗筛把决策空间从几百压到个位,再在最贵的模型上只花一次小成本。这跟我做检索系统时的思路是一模一样的——召回和精排的目标函数本来就不同,硬塞给一个模型做,等于要求一个人同时当筛子和法官。

顺带一个工程细节:Router 的输入要做归一化缓存。同一句话、同一用户状态的路由结果可以直接命中缓存,客服场景里重复问法比例高得惊人,这一层缓存经常能把 Router 的调用量砍掉三四成。

六、我把四种架构放在一起比

Router + Skill 不是唯一解,选型要看业务边界清不清晰。我把这四种的取舍列出来,这是我自己选型时用的表:

架构适合什么优点代价
单 Agent + 全量工具
mega prompt / ReAct
能力 ≤ 5 项、探索型任务、原型验证实现最快,灵活,不用预设边界上下文膨胀、相近工具互相干扰、无法稳定评估
Router + Skill
本文主题
能力多、边界明确、有合规与风控要求稳定、可评估、成本可控、每个能力能独立迭代要给每个能力写契约,冷启动成本高;跨域复杂规划能力弱
Supervisor + 多子 Agent任务需要分工协作、有明确角色职责清晰,子 Agent 可并行通信开销大,协调失败难排查,token 成本高
纯工作流编排
DAG / 状态机
流程高度确定、几无开放输入最可控、最好测试、延迟最低不灵活,一遇到用户说不清就卡住

我的实际做法是混合:外层用 Router 做意图分流,中层用 Skill 做能力封装,Skill 内部的固定步骤用工作流编排,只有真正需要自由推理的节点才交给模型。这四者不是互斥选项,而是同一套系统里不同层次的工具。

再补一个常被忽略的点:Router + Skill 成立的前提是业务边界清晰。如果连业务方都说不清“退款”和“售后补偿”的界线,你在代码里也画不出来。我遇到过 Skill 卡片改了三版都分不开两个能力,最后发现是两个团队对同一件事的定义不一致。所以这类架构改造,实质上是把组织边界显式化成技术边界——这件事经常比写代码难,但它也是收益最大的部分。

七、如果我来落地:最小可行版本与评估

两周能跑起来的 MVP

  1. 先别做 100 个 Skill。挑 3 个高频、高价值、边界清晰的(比如查订单、查物流、部分退款),把这三张卡片写到 when_not_to_use 都能互相区分的程度。
  2. Router 只做结构化输出,用 JSON Schema 校验,字段就我上面那七个,不加不减。不通过 schema 就等于路由失败,走兜底。
  3. Skill 目录用文件管理:一个能力一个目录,卡片用 YAML,知识用 Markdown 片段,工具用白名单声明。这样产品也能改卡片,不用等开发。
  4. 所有写操作加确认,先全量强制确认,跑一周看哪些确认是“用户无脑点是”,再逐步放开阈值。

我用来判断“路由到底行不行”的指标

指标定义为什么重要
路由准确率最终执行的 Skill 与人工标注一致的比例基础健康度,但要配下面的指标才有意义
Top-k 召回率正确 Skill 出现在候选集中的比例召回失败是硬失败,精排再好也救不回
误路由成本按错误类型加权的代价(错到高风险 Skill 加权重)比准确率更贴近业务感受
追问率需要澄清才会话占比过高说明卡片区分度差,不是用户的问题
转人工率Skill 内 escalation 的比例反映边界设计是否合理
任务完成率用户诉求真正被解决的比例唯一看最终效果的口径

另外我会拉一张混淆矩阵,专门看“哪一对 Skill 最容易互相抢”。我的经验是矩阵里总会有两三对常年互相抢,而解决方式往往不是调模型,是把这两张卡片的 when_not_to_use 各加一条真实用户说法——这比调参数有效得多。

评估集怎么来:从真实日志里捞,不要自己编。我自己编过 200 条测试用例,上线后发现真实用户的说法跟我脑子里的完全是两个世界。最少 300 条真实 query,覆盖长尾表达、错别字、方言化表达、带情绪的表达,然后每次改 Skill 卡片都跑一遍回归。

深度思考:路由是在做信息压缩,不是在做更聪明的事

把这件事抽象一层,Router + Skill 的收益来自一个很朴素的原则:在决策之前先降维。几百个能力的全集,对模型来说是一个高熵的决策空间;先用便宜手段压到个位候选,再让贵模型在小空间里做判断,熵降下来了,准确率和成本同时改善。

这也是我对“让模型更强就能解决问题”这种思路的核心异议。能力从 10 项涨到 100 项,模型再强也要面对“所有相似工具都在上下文里互相干扰”这个结构性问题,而结构性问题只能用结构手段解。

但我也要说清楚它的边界,免得把它当成万能药:

  • 它不适合开放域探索型任务。“帮我想想这个功能怎么做”这类没有预设能力边界的请求,硬套 Router 只会把用户塞进一个窄框里。这类场景我宁可留一个通用 Agent 兜底。
  • 它做不了跨能力的复杂规划。“帮我把这三件事按重要性排一下,然后逐个处理”这种请求,需要的是 planner 而不是 router。我的做法是让 Router 只识别“这是一个需要规划的任务”,然后交给专门的规划组件,而不是硬让 Router 承担。
  • 它会把组织问题暴露成技术问题。Skill 分不清,十有八九是业务定义没统一。这时候改代码是治标。

还有一个我坚持的设计立场:不要让 Router 本身变成一个 Agent。我见过把 Router 做成一个小型多轮 Agent 的方案,它会自己调工具验证、自己反思、自己重试。看起来很智能,实际结果是引入了第二重不确定性——你原本只想解决“分类不准”,最后得到的是“分类不准 + 分类器本身行为不稳定”,排查难度翻倍。Router 应该是系统里最无聊的那个组件:确定性、可测、可解释。

最后是我对“稳定性 vs 智能性”的判断。在业务系统里,可预测性比聪明更值钱。一个 92% 准确但错的时候错得可预期、可兜底、可回滚的系统,比一个 95% 准确但错得莫名其妙的系统更有价值。Skill 契约、风险分级、确认策略,本质上都是在把不确定性关进笼子里。

总结要点

  1. 把意图判断和执行方法拆开。Router 只回答“交给谁”,Skill 只回答“怎么做”。我守住这条边界,是因为一旦让两边都猜意图,系统就会自相矛盾。
  2. Router 的输出是计划,不是标签。复合意图(少送 + 退款 + 商家协商)必须表达成带依赖关系的轻量步骤,只给一个 refund 标签等于没识别。
  3. Skill 是能力契约,不是提示词。真正让它稳定的是 when_not_to_use、工具白名单、风险等级和确认策略这些工程约束,不是提示词写得漂亮。
  4. 能用代码拦住的,不要求模型自觉。高风险写操作标 risk=high 并强制二次确认,比在 prompt 里写“请谨慎”有效一个量级。
  5. 置信度阈值按风险分级,不要设全局值。只读类可以宽到 0.5,资金类必须 0.9 以上甚至要求双信号一致——因为错误的代价不对称。
  6. 上百个 Skill 用两段式路由。hybrid 召回把候选砍到个位,小模型在个位里做单选和抽槽位;强模型留给 Skill 内部的多步执行。
  7. 先建纠正入口和埋点,再调阈值和模型。没有真实纠正样本,路由准确率只能靠猜;混淆矩阵里常年互抢的那两对,改卡片比调参数管用。
Logo

更多推荐