Router + Skill:我为什么不再做“万能 Agent”,而是先把意图路由出去
目录
摘要:我做过也见过太多“万能 Agent”——把所有规则、工具、业务说明塞进一个超长 prompt,然后指望模型每次都选对。这条路在能力超过 10 项之后一定崩,崩的原因不是模型不够聪明,而是意图判断和执行方法这两件事被混在了一次推理里。这篇我会讲清我的解法:Router 只负责“这件事该交给谁”,Skill 只负责“这类事该怎么做”,以及在复合意图、低置信度、上百个 Skill 的场景下,我怎么把这两层真正做稳。
背景:我是怎么被“万能 Agent”坑到改架构的
最早做客服类 Agent 的时候,我的思路很朴素:用户说什么都往里塞,把所有工具的描述、全部业务规则、几十条 few-shot 拼成一个巨大的 system prompt,然后开一个 ReAct 循环让它自己想。
Demo 阶段效果惊艳。但上线之后问题就一层层浮出来,而且全都是同一类问题:
- 上下文越来越长:工具从 5 个长到 30 个,光是工具描述就吃掉几千 token,每次请求都在为“可能用不上的能力”付费。
- 相近能力互相干扰:同时存在“查订单”“查物流”“查退款进度”三个工具时,模型在“我的东西还没到”这句话上会随机摇摆,而这三条路径下游的动作完全不一样。
- 每次都在重新发明做法:同一个退款流程,模型今天按 A 顺序做,明天按 B 顺序做,中间漏掉“是否需要用户二次确认”的概率肉眼可见地高。
- 无法评估:你没法给一个“什么都干”的 Agent 写测试集。出错时你也说不清是意图判断错了,还是执行步骤错了。
我后来意识到,问题不在 prompt 写得好不好,而在我把两个正交的问题合并成了一次推理:这件事是什么(意图识别),以及这件事该怎么做(流程执行)。前者是分类问题,后者是能力封装问题。把分类问题交给一个正在做流程推理的大模型,本质上是用最贵、最不稳定、最难评估的方式,去解一个本来可以很便宜、很确定的问题。
所以我把架构拆成两层:一个轻量的 Router 先做意图判断,判断完只加载对应的 Skill。Router 是“调度台”,Skill 是“作业指导书”。这不是新发明,但它是我目前唯一敢往业务系统里推的形状。
一、先分清两件事:谁来做,和怎么做
我给这两个角色的定义非常克制,克制到有点无聊,但正是这种无聊让它稳定:
| 角色 | 回答的问题 | 产出 |
|---|---|---|
| Router | 这件事交给谁?是单一任务还是复合任务?我现在有把握吗? | 结构化路由结果:意图、候选 Skill、置信度、已识别的槽位、是否需要追问 |
| Skill | 这类事情按什么步骤做?能查什么、能改什么、哪里必须停下来问人? | 执行过程 + 结果,以及一组明确的边界策略(自动处理线、转人工线) |
「Router 解决的是这个事应该交给谁,Skill 解决的是这类事情应该按照什么方法完成。」—— 原始视频
我把这条边界当成硬规矩来守:Router 里不允许写业务逻辑,Skill 里不允许做路由判断。一旦破例,比如让某个 Skill 在内部偷偷判断“用户是不是其实想退货”,你很快就会回到“多个地方都在猜意图”的混乱状态,而且这些猜测之间还会互相矛盾。
Router 的输出必须是结构化的
我坚持让 Router 输出 JSON,并用 schema 校验。自由文本的路由结果无法做阈值判断、无法做埋点统计、无法在置信度低的时候自动降级。下面是我实际在用的一版,字段不多但每个都有用途:
{
"primary_intent": "aftersale.refund",
"secondary_intents": ["order.query"],
"candidate_skills": [
{ "id": "aftersale.refund", "score": 0.91 },
{ "id": "aftersale.exchange", "score": 0.44 }
],
"slots": { "order_id": null, "item": "饮料", "reason": "少送" },
"missing_slots": ["order_id"],
"confidence": 0.91,
"need_clarify": false,
"risk_level": "medium"
}
几个细节值得说:secondary_intents 是我加了最多血泪的字段,missing_slots 让追问变成“补参数”而不是“再聊一轮”,risk_level 决定后面走自动执行还是强制确认。
为什么 Router 不能顺便干点业务?因为它的错误代价是不对称的、而且不可逆。Router 判错了,后面 Skill 再完美也救不回来——它会在错误的流程里正确地执行完毕。我在设计时把 Router 当成一个“高优先级、低自由度”的组件:只允许它做归类、抽槽位、给置信度,不允许多轮推理,不允许多次工具调用,最好连工具都不给它。
二、真正的难点不是“识别意图”,是“复合意图”
单意图分类是个已经被解决得差不多的工程问题:微调小模型、embedding 最近邻、或者一次 LLM 结构化输出,都能做到不错。真正让 Router 翻车的是一句用户话里装了两三件事。
我拿一个真实到有点烦的例子来走一遍:
用户原话:「我外卖少了一杯饮料,能不能直接退钱?」
这句话表面是“退款”,但拆开看至少三层:
- 订单侧:要定位是哪一单、哪一项、金额多少(缺槽位,可能要追问或从上下文补)
- 售后侧:少送属于“商品缺失”,走部分退款而不是整单退款
- 商家侧:部分商品是否必须先协商商家、金额阈值以下才能自动处理
如果 Router 只输出一个 refund 标签,下游的退款 Skill 会拿整单去做退款,或者卡在“你没有提供订单号”上原地打转。用户要的其实不是“退款”这个标签,而是一份最小可执行的计划。
所以我让 Router 输出的不是 intent,而是 intent + 依赖关系:先查订单拿金额,再进售后 Skill 走部分退款,如果金额超过阈值就插入商家协商节点。它不需要规划到每一步,只需要说清“先做 A 再做 B,B 依赖 A 的输出”。
复合意图的工程做法:让 Router 输出 steps: [{skill, depends_on, required_inputs}] 这样的轻量计划,而不是把所有能力交给一个更聪明的 planner。复杂规划交给专门的 planner 是另一条路,但我想先把 80% 的“两三个能力串起来”的场景用确定性搞定,剩下的才交给模型自由发挥。
三、Skill 不是一个提示词,是一份能力契约
我见过最多的误解,是把 Skill 当成“一段写得比较好的 prompt”。如果 Skill 只有提示词,那你只是把 mega prompt 拆成了多个小 prompt,问题一点没解决。
对我来说,一个 Skill 是能力契约:它承诺“在什么条件下我能处理这件事”“处理时我按什么步骤”“我能碰哪些工具、碰不到什么”“什么时候我必须停下来找人”。这几件事里,只有“步骤”和提示词有关,其余都是工程约束。
我的 Skill 卡片字段清单
| 字段 | 作用 | 缺了会怎样 |
|---|---|---|
name / version | 唯一标识 + 版本,供 Router 引用 | Router 规则和 Skill 实现悄悄漂移 |
when_to_use | 典型触发说法,给召回和精排用 | 召回阶段捞不到,Skill 形同不存在 |
when_not_to_use | 明确排除项,最容易混淆的邻居 | 退款抢走质量投诉、换货抢走退款 |
required_slots | 执行前必须齐的参数 | 执行到一半才发现缺参数,体验断裂 |
tools | 工具白名单 + 读写属性 + 风险等级 | Agent 能调到不该调的写接口 |
knowledge_refs | 只需要的那一小块业务知识 | 又变成把全量文档塞进上下文 |
policy | 金额阈值、自动处理线、转人工线 | 边界靠模型自觉,等于没有边界 |
confirm_policy | 哪些动作执行前必须二次确认 | 不可逆操作被“顺手”执行了 |
output_schema | 结果结构,供上游和埋点消费 | 结果无法被程序判断,只能给人看 |
eval_cases | 该 Skill 的正例 / 反例 / 边界例 | 改了卡片不知道有没有把邻居抢过来 |
其中 when_not_to_use 是我认为性价比最高的一个字段。写它的时候你会被迫回答一个非常具体的问题:“跟这个 Skill 最像、但不该走这里的三种说法是什么?” 这个字段直接决定了相邻能力之间的分离度。
id: aftersale.refund
version: 1.3.0
when_to_use:
- 少送 / 漏送 / 错送,要退部分或全部金额
- 商品未按约定送达且用户明确要求退钱
when_not_to_use:
- 商品本身有质量或安全问题(走 quality.complaint,可能涉及赔付与下架)
- 用户只想换一件而不是退钱(走 aftersale.exchange)
required_slots: [order_id, item_id, reason]
tools:
- order.get_detail # read
- refund.create_partial # write, risk=high
- merchant.notify # write, risk=mid
policy:
auto_refund_max: 20 # 元;以下自动处理
require_merchant_confirm_over: 50
confirm_policy:
- refund.create_partial # 执行前必须用户二次确认
escalation: human_agent_if_repeat_refund_3_times
注意 refund.create_partial 上标的 risk=high 和 confirm_policy。这一条比任何一句“请谨慎执行退款”的提示词都有效,因为它是可被程序强制执行的约束,而不是一句请求模型配合的建议。我现在的默认立场是:能用代码拦住的,绝不写在 prompt 里求模型自觉。
四、Router 一定会判错,所以要按“错得起”来设计
我见过最典型的路由事故是这样的:用户说「这个杯子漏水,我不想要了」。关键词里出现了“不想要”,Router 相当自然地把它送进退款流程。但真正需要处理的可能是质量投诉、换货,甚至是安全问题(漏水可能涉及电器)。
这类错误说明一件事:关键词级的路由永远只是候选生成,不是决策。口语表达里“不想要”可以映射到退款、退货、换货、投诉四种后端流程,它们的分岔不在字面,而在商品属性、时间窗和用户真实诉求里。
我给 Router 配了三条兜底机制,缺一条我都不敢上线:
用户请求口语、多义、信息不全
→
Router候选召回 + 精排 + 置信度
→
低置信 / 复合追问、多能力组合、降级
→
Skill 执行按契约步骤跑,卡点转人工
→
结果 + 埋点纠正样本回流 eval
① 澄清:问一个信息增益最大的问题
不是“请问您具体想办理什么业务”,而是给出二选一:「您是想退这一杯的钱,还是想反馈杯子漏水这个质量问题?」把候选直接摊开让用户点,比让用户重新描述有效一个数量级。我要求 Router 在 need_clarify=true 时必须同时给出 2~3 个候选意图,澄清才有可选项。
② 低置信度不是统一阈值,要按风险分级
这是我最想强调的一点。很多人会设一个全局阈值 0.7,低于就追问。但错误的代价是不对称的:把“退款”错判成“咨询”,用户多说一句话;把“投诉”错判成“自动退款”,是资金损失加坡客诉。
所以我按 Skill 的风险等级设不同阈值:低风险只读类 Skill 阈值可以放到 0.5,高风险的写操作 Skill 我要求 0.9 以上,甚至要求“必须有两个独立信号一致”(比如语义分高 + 槽位齐全)才允许自动执行。
③ 用户纠正入口,是唯一能自我进化的部分
每一次用户点“我不是这个意思”,都是一条高价值标注。我会把它记成 (query, router_candidates, chosen, corrected_to) 四元组,直接进回归集。没有这个入口,你的路由准确率只能靠离线猜。
落地顺序我会这么排:先做纠正入口和埋点,再做澄清,最后才去调阈值和模型。因为前两件事决定了你有没有数据可调,而调阈值是这三件事里最便宜的。
五、Skill 上百个之后:两段式路由
业务长起来之后,Skill 数量破百是必然的。这时第一个诱惑是“把所有 Skill 的说明都塞给模型,让它自己选”,第二个诱惑是“那就微调一个分类模型”。两个我都试过,我的结论是:分类器负责把候选砍到个位数,模型只负责在个位数里做最终确认。
第一段:召回(便宜、宽、可解释)
候选召回我用 hybrid:BM25 类字面匹配 + embedding 语义召回 + 业务域硬过滤(比如已登录用户的会员等级、订单状态直接排除一批不可能的能力)。
为什么要 hybrid 而不是纯向量?因为用户说的是口语,纯语义空间里“退款”和“退货”几乎重合,但流程完全不同;反过来纯字面匹配又会漏掉“钱退我”这类说法。两路各取 top-20 再合并去重,召回率会明显稳。
第二段:精排(贵、窄、可解释)
只把召回得到的 5~8 张 Skill 卡片(不是全文,只有 when_to_use / when_not_to_use / 一句话能力描述)交给一个快模型做最终确认,输出 primary_intent 和 confidence。
这一步我用的是小模型而不是最强模型,理由是:候选集已经被砍到个位数,任务退化成“在 8 个选项里做单选 + 抽槽位”,小模型完全够用,成本能降一个数量级,延迟从我实测的秒级压到几百毫秒。真正需要强模型的地方在 Skill 内部的多步执行,那里才是模型智能的用武之地。
两段式路由的本质是“分层决策”:先用便宜的粗筛把决策空间从几百压到个位,再在最贵的模型上只花一次小成本。这跟我做检索系统时的思路是一模一样的——召回和精排的目标函数本来就不同,硬塞给一个模型做,等于要求一个人同时当筛子和法官。
顺带一个工程细节:Router 的输入要做归一化缓存。同一句话、同一用户状态的路由结果可以直接命中缓存,客服场景里重复问法比例高得惊人,这一层缓存经常能把 Router 的调用量砍掉三四成。
六、我把四种架构放在一起比
Router + Skill 不是唯一解,选型要看业务边界清不清晰。我把这四种的取舍列出来,这是我自己选型时用的表:
| 架构 | 适合什么 | 优点 | 代价 |
|---|---|---|---|
| 单 Agent + 全量工具 mega prompt / ReAct | 能力 ≤ 5 项、探索型任务、原型验证 | 实现最快,灵活,不用预设边界 | 上下文膨胀、相近工具互相干扰、无法稳定评估 |
| Router + Skill 本文主题 | 能力多、边界明确、有合规与风控要求 | 稳定、可评估、成本可控、每个能力能独立迭代 | 要给每个能力写契约,冷启动成本高;跨域复杂规划能力弱 |
| Supervisor + 多子 Agent | 任务需要分工协作、有明确角色 | 职责清晰,子 Agent 可并行 | 通信开销大,协调失败难排查,token 成本高 |
| 纯工作流编排 DAG / 状态机 | 流程高度确定、几无开放输入 | 最可控、最好测试、延迟最低 | 不灵活,一遇到用户说不清就卡住 |
我的实际做法是混合:外层用 Router 做意图分流,中层用 Skill 做能力封装,Skill 内部的固定步骤用工作流编排,只有真正需要自由推理的节点才交给模型。这四者不是互斥选项,而是同一套系统里不同层次的工具。
再补一个常被忽略的点:Router + Skill 成立的前提是业务边界清晰。如果连业务方都说不清“退款”和“售后补偿”的界线,你在代码里也画不出来。我遇到过 Skill 卡片改了三版都分不开两个能力,最后发现是两个团队对同一件事的定义不一致。所以这类架构改造,实质上是把组织边界显式化成技术边界——这件事经常比写代码难,但它也是收益最大的部分。
七、如果我来落地:最小可行版本与评估
两周能跑起来的 MVP
- 先别做 100 个 Skill。挑 3 个高频、高价值、边界清晰的(比如查订单、查物流、部分退款),把这三张卡片写到
when_not_to_use都能互相区分的程度。 - Router 只做结构化输出,用 JSON Schema 校验,字段就我上面那七个,不加不减。不通过 schema 就等于路由失败,走兜底。
- Skill 目录用文件管理:一个能力一个目录,卡片用 YAML,知识用 Markdown 片段,工具用白名单声明。这样产品也能改卡片,不用等开发。
- 所有写操作加确认,先全量强制确认,跑一周看哪些确认是“用户无脑点是”,再逐步放开阈值。
我用来判断“路由到底行不行”的指标
| 指标 | 定义 | 为什么重要 |
|---|---|---|
| 路由准确率 | 最终执行的 Skill 与人工标注一致的比例 | 基础健康度,但要配下面的指标才有意义 |
| Top-k 召回率 | 正确 Skill 出现在候选集中的比例 | 召回失败是硬失败,精排再好也救不回 |
| 误路由成本 | 按错误类型加权的代价(错到高风险 Skill 加权重) | 比准确率更贴近业务感受 |
| 追问率 | 需要澄清才会话占比 | 过高说明卡片区分度差,不是用户的问题 |
| 转人工率 | Skill 内 escalation 的比例 | 反映边界设计是否合理 |
| 任务完成率 | 用户诉求真正被解决的比例 | 唯一看最终效果的口径 |
另外我会拉一张混淆矩阵,专门看“哪一对 Skill 最容易互相抢”。我的经验是矩阵里总会有两三对常年互相抢,而解决方式往往不是调模型,是把这两张卡片的 when_not_to_use 各加一条真实用户说法——这比调参数有效得多。
评估集怎么来:从真实日志里捞,不要自己编。我自己编过 200 条测试用例,上线后发现真实用户的说法跟我脑子里的完全是两个世界。最少 300 条真实 query,覆盖长尾表达、错别字、方言化表达、带情绪的表达,然后每次改 Skill 卡片都跑一遍回归。
深度思考:路由是在做信息压缩,不是在做更聪明的事
把这件事抽象一层,Router + Skill 的收益来自一个很朴素的原则:在决策之前先降维。几百个能力的全集,对模型来说是一个高熵的决策空间;先用便宜手段压到个位候选,再让贵模型在小空间里做判断,熵降下来了,准确率和成本同时改善。
这也是我对“让模型更强就能解决问题”这种思路的核心异议。能力从 10 项涨到 100 项,模型再强也要面对“所有相似工具都在上下文里互相干扰”这个结构性问题,而结构性问题只能用结构手段解。
但我也要说清楚它的边界,免得把它当成万能药:
- 它不适合开放域探索型任务。“帮我想想这个功能怎么做”这类没有预设能力边界的请求,硬套 Router 只会把用户塞进一个窄框里。这类场景我宁可留一个通用 Agent 兜底。
- 它做不了跨能力的复杂规划。“帮我把这三件事按重要性排一下,然后逐个处理”这种请求,需要的是 planner 而不是 router。我的做法是让 Router 只识别“这是一个需要规划的任务”,然后交给专门的规划组件,而不是硬让 Router 承担。
- 它会把组织问题暴露成技术问题。Skill 分不清,十有八九是业务定义没统一。这时候改代码是治标。
还有一个我坚持的设计立场:不要让 Router 本身变成一个 Agent。我见过把 Router 做成一个小型多轮 Agent 的方案,它会自己调工具验证、自己反思、自己重试。看起来很智能,实际结果是引入了第二重不确定性——你原本只想解决“分类不准”,最后得到的是“分类不准 + 分类器本身行为不稳定”,排查难度翻倍。Router 应该是系统里最无聊的那个组件:确定性、可测、可解释。
最后是我对“稳定性 vs 智能性”的判断。在业务系统里,可预测性比聪明更值钱。一个 92% 准确但错的时候错得可预期、可兜底、可回滚的系统,比一个 95% 准确但错得莫名其妙的系统更有价值。Skill 契约、风险分级、确认策略,本质上都是在把不确定性关进笼子里。
总结要点
- 把意图判断和执行方法拆开。Router 只回答“交给谁”,Skill 只回答“怎么做”。我守住这条边界,是因为一旦让两边都猜意图,系统就会自相矛盾。
- Router 的输出是计划,不是标签。复合意图(少送 + 退款 + 商家协商)必须表达成带依赖关系的轻量步骤,只给一个
refund标签等于没识别。 - Skill 是能力契约,不是提示词。真正让它稳定的是
when_not_to_use、工具白名单、风险等级和确认策略这些工程约束,不是提示词写得漂亮。 - 能用代码拦住的,不要求模型自觉。高风险写操作标
risk=high并强制二次确认,比在 prompt 里写“请谨慎”有效一个量级。 - 置信度阈值按风险分级,不要设全局值。只读类可以宽到 0.5,资金类必须 0.9 以上甚至要求双信号一致——因为错误的代价不对称。
- 上百个 Skill 用两段式路由。hybrid 召回把候选砍到个位,小模型在个位里做单选和抽槽位;强模型留给 Skill 内部的多步执行。
- 先建纠正入口和埋点,再调阈值和模型。没有真实纠正样本,路由准确率只能靠猜;混淆矩阵里常年互抢的那两对,改卡片比调参数管用。
更多推荐

所有评论(0)