最近在开发基于LLM的智能体时，发现一个头疼的问题：同样的任务，不同工程师写的提示词性能差异能达到3倍以上。经过两周的AB测试和代码重构，我们总结出一套提示词优化方案，最终让Agent的API调用耗时从平均1.8秒降至0.7秒，token消耗减少62%。

一、为什么需要优化提示词？

传统智能体开发常见的三大痛点：

1. 冗余信息多：比如在电商场景中，客服Agent的提示词里重复包含产品目录，每次对话都占用200+token
2. 意图模糊：用"请处理用户问题"这种模糊指令，导致大模型需要多次追问确认
3. 上下文污染：历史对话中的无关信息被带入后续请求，影响当前任务判断

实测发现，未经优化的提示词会导致： - 单次API调用token消耗增加40%-70% - 任务完成率降低30%左右 - 响应延迟波动较大（标准差可达400ms）

二、三层式架构设计

我们采用分层处理的思路：

1. 意图识别层：用固定模板快速判断用户意图

   def detect_intent(text: str) -> str:
       prompt = """[系统指令]请用1个单词回答该问题的类型：\n\n用户输入：{user_input}"""
       # 实际开发中会配置意图分类器
       return llm_call(prompt.format(user_input=text))

2. 参数提取层：根据意图动态生成参数提取模板

   def build_param_prompt(intent: str) -> str:
       templates = {
           "退货": "提取以下信息：订单号、商品名称、退货原因",
           "咨询": "提取关键词：产品类型、具体问题"
       }
       return templates.get(intent, "提取关键参数")

3. 执行优化层：压缩历史对话关键信息

   def compress_context(messages: List[dict]) -> str:
       # 只保留最近3轮对话的决策点
       return '\n'.join([f"[{m['role']}] {m['content'][:50]}..." 
                         for m in messages[-3:]])

三、关键代码实现

核心的PromptCompressor类实现：

class PromptOptimizer:
    def __init__(self, max_token=1500):
        self.max_token = max_token

    def optimize(self, user_input: str, history: List[dict]) -> str:
        # 意图识别
        intent = self._detect_intent(user_input)

        # 动态参数模板
        param_prompt = self._build_param_template(intent)

        # 上下文压缩
        compressed_ctx = self._compress_history(history)

        # 组装最终prompt
        return f"""[系统指令]
        当前任务类型：{intent}
        需要提取的参数：{param_prompt}

        [历史上下文摘要]
        {compressed_ctx}

        [当前用户输入]
        {user_input}"""

四、性能对比测试

使用相同GPT-3.5模型进行AB测试：

| 指标 | 原始方案 | 优化方案 | 提升幅度 | |---------------|---------|---------|---------| | 平均token用量 | 1842 | 698 | 62.1%↓ | | 响应时间(ms) | 1823 | 712 | 60.9%↓ | | 任务完成率 | 68% | 92% | 35.3%↑ |

五、避坑经验

1. 上下文窗口管理：
2. 采用滑动窗口机制，永远保留最近的关键决策点

3. 对历史对话做向量化摘要（可用text-embedding-ada-002）

4. 防注入攻击：

   def sanitize_input(text: str) -> str:
       return text.replace("[", "(").replace("]", ")")[:500]

六、延伸优化方向

下一步计划尝试： 1. 用FAISS存储高频问答对的向量表示 2. 实现基于相似度的上下文检索 3. 实验显示增加长期记忆后，多轮对话准确率可再提升15-20%

经过这次优化，深刻体会到：好的提示词工程就像写代码一样，需要严谨的结构设计和性能优化意识。希望这些实战经验对你有帮助！