AI Agent 的模型路由：多模型切换与智能选择

当你只有一个锤子时，所有问题都像钉子。但 LLM 的世界里，没有"万能模型"——GPT-4 太贵、Llama 3 70B 太慢、7B 小模型又不够聪明。模型路由（Model Routing）就是让你的 AI Agent 像经验丰富的调度员，为每个任务精准匹配最合适的模型。

---

一、为什么需要模型路由？

1.1 单一模型的困境

在构建 AI Agent 时，开发者常面临一个两难抉择： - 用最强模型（如 GPT-4）：质量高，但成本可能是 $20/百万 token，且延迟 2-3 秒。对于高频调用（如每用户每天 100 次），账单令人窒息。 - 用经济模型（如 GPT-3.5）：成本低（$1/百万 token），但面对复杂推理、代码生成、多语言任务时质量骤降，用户体验受损。 实际数据触目惊心：某客服 Agent 使用 GPT-4 处理 80% 的简单问候，造成了 73% 的无效成本支出。

1.2 多模型生态的机遇

2024 年的模型市场呈现出鲜明的能力分层： | 模型类型 | 代表 | 成本/1M tokens | 擅长场景 | 短板 | |----------|------|----------------|----------|------| | 旗舰模型 | GPT-4o, Claude 3.5 Sonnet | $5-15 | 复杂推理、创意写作、代码 | 高成本、高延迟 | | 中端模型 | GPT-4o-mini, Llama 3 70B | $0.15-0.5 | 通用问答、摘要、格式化 | 深度推理弱 | | 轻量模型 | Phi-3, Gemma 2, Qwen2 7B | $0.01-0.05 | 分类、意图识别、简单对话 | 复杂任务幻觉高 | | 专用模型 | CodeLlama, DeepSeek-Coder | 开源 | 代码生成、SQL | 通用能力弱 | 模型路由的核心价值：在正确的时间，用正确的模型，做正确的事——让质量、成本、延迟三角达到帕累托最优。 ---

二、路由策略：质量、成本、延迟的三体问题

2.1 成本优先路由（Cost-First Routing）

适合内部工具、非关键路径或预算敏感型产品。策略核心：先让廉价模型尝试，只在必要时升级。

class CostFirstRouter:
    def __init__(self):
        self.tiers = [
            {"model": "gpt-4o-mini", "cost": 0.15, "confidence_threshold": 0.8},
            {"model": "gpt-4o", "cost": 5.0, "confidence_threshold": 0.95},
            {"model": "gpt-4", "cost": 15.0, "confidence_threshold": 1.0},
        ]
    
    async def route(self, query: str, context: dict) -> str:
        for tier in self.tiers:
            response = await llm_call(tier["model"], query)
            confidence = self.evaluate_confidence(response, query)
            
            if confidence >= tier["confidence_threshold"]:
                return response
        
        # 兜底：最强模型
        return await llm_call("gpt-4", query)
    
    def evaluate_confidence(self, response, query) -> float:
        """通过自评估或一致性检查估算置信度"""
        eval_prompt = f"判断以下回答是否准确解决了问题（0-1）：\n问题：{query}\n回答：{response}"
        score = float(llm_call("gpt-4o-mini", eval_prompt, max_tokens=10))
        return score

典型场景：批量文档处理、数据标注、内部知识库问答。

2.2 质量优先路由（Quality-First Routing）

适合面向客户的关键场景、医疗/法律/金融等高风险领域。策略核心：先判断任务复杂度，直接匹配能力足够的模型。

class QualityFirstRouter:
    def __init__(self):
        self.complexity_classifier = load_classifier("complexity_model.pkl")
    
    async def route(self, query: str) -> str:
        complexity = self.complexity_classifier.predict(query)
        
        routing_map = {
            "simple": "gpt-4o-mini",       # 问候、事实查询、简单总结
            "moderate": "gpt-4o",          # 分析、多步推理、格式化输出
            "complex": "claude-3-5-sonnet", # 创意写作、代码、复杂逻辑
            "critical": "gpt-4",           # 医疗、法律、金融决策
        }
        
        model = routing_map.get(complexity, "gpt-4")
        return await llm_call(model, query)
    
    def predict_complexity(self, query: str) -> str:
        features = extract_features(query)  # 长度、关键词、任务类型等
        return self.complexity_classifier.predict([features])[0]

2.3 延迟优先路由（Latency-First Routing）

适合实时对话、流式交互、需要秒级响应的场景。策略核心：预测输出长度，短响应用小模型，长响应用大模型。

class LatencyFirstRouter:
    def __init__(self):
        self.latency_model = {
            "gpt-4o-mini": {"ttft": 100, "tokens_per_sec": 200},  # ms, tokens/s
            "gpt-4o": {"ttft": 300, "tokens_per_sec": 80},
            "gpt-4": {"ttft": 800, "tokens_per_sec": 30},
        }
    
    def estimate_output_length(self, query: str) -> int:
        """预测输出 token 数（可用历史数据训练简单回归模型）"""
        base = len(query)  0.5
        if "总结" in query or "摘要" in query:
            return 50
        elif "详细" in query or "分析" in query:
            return 500
        return 200
    
    def select_model(self, query: str, max_latency_ms: int = 2000) -> str:
        estimated_tokens = self.estimate_output_length(query)
        
        best_model = None
        best_cost = float('inf')
        
        for model, perf in self.latency_model.items():
            total_latency = perf["ttft"] + (estimated_tokens / perf["tokens_per_sec"]  1000)
            if total_latency <= max_latency_ms:
                cost = self.get_cost(model, estimated_tokens)
                if cost < best_cost:
                    best_cost = cost
                    best_model = model
        
        return best_model or "gpt-4o-mini"  # 兜底

---

三、智能路由：从规则到学习的进化

3.1 分类器路由：让轻量模型做"看门人"

最优雅的路由方案之一：训练一个轻量级分类器（如 BERT/Logistic Regression），在调用大模型前，快速判断任务类型和所需能力。

from sklearn.ensemble import RandomForestClassifier
import numpy as np

class ClassifierRouter:
    def