AI Agent 的反思机制：自我纠错与迭代优化

开发小能手-roy

7人浏览 · 2026-06-28 09:30:12

开发小能手-roy · 2026-06-28 09:30:12 发布

AI Agent 的反思机制：自我纠错与迭代优化

在构建 AI Agent 的实践中，一个最常被低估却又至关重要的能力，就是自我反思（Self-Reflection）。正如人类在完成任务后会复盘总结、发现并修正错误一样，一个具备反思能力的 Agent 能够审视自身的输出、评估行动效果，并在下一次迭代中做得更好。本文将系统介绍 AI Agent 中反思机制的设计原理，深入剖析 Reflexion、Self-Refine 等前沿框架，并提供可直接落地的代码实现。

一、为什么 Agent 需要自我反思？

1.1 大模型不是完美的

即便是最先进的 LLM（如 GPT-4、Claude），也免不了以下问题： - 幻觉（Hallucination）：生成看似合理但实际错误的信息 - 推理错误：在逻辑推导中遗漏关键步骤或得出错误结论 - 工具调用失误：选错工具、传错参数、误解返回结果 - 上下文丢失：长对话中遗忘早期约定或关键约束

1.2 传统方法的局限

没有反思机制的 Agent，通常遵循一次性生成模式：

输入 → [LLM/工具] → 输出 ✓ 或 ✗

一旦输出错误，整个任务就失败了。人类解决问题的方式则完全不同：

尝试 → 失败/不完美 → 反思 → 修正 → 再尝试 → ... → 成功

反思机制正是将这种人类智慧注入 AI Agent 的核心设计。

1.3 反思能力带来的增益

- 错误率降低：实验表明，引入反思机制可使复杂任务的错误率降低 30%-60% - 零样本增强：无需额外训练数据，仅通过迭代优化提升性能 - 可解释性提升：反思过程本身是对 Agent 决策逻辑的自我解释 - 适应性增强：Agent 能够从错误中学习，适应新场景 ---

二、核心反思框架：Reflexion 与 Self-Refine

2.1 Reflexion：语言化的自我反馈

Reflexion（Shinn et al., 2023）是第一个将"自然语言形式的自我反思"系统引入 LLM Agent 的框架。其核心思想是：让 Agent 在完成一次尝试后，用自然语言总结哪里做错了、为什么错、下次如何改进，并将这段反思文本作为下一次尝试的上下文输入。

from typing import Optional, List
from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate

class ReflexionAgent:
    """Reflexion 反思框架实现"""
    
    def __init__(self, llm: ChatOpenAI, max_trials: int = 3):
        self.llm = llm
        self.max_trials = max_trials
        self.reflections: List[str] = []  # 累积反思记忆
    
    def act(self, task: str, context: str = "") -> str:
        """执行一次尝试"""
        prompt = ChatPromptTemplate.from_messages([
            ("system", "你是一位善于解决问题的助手。请完成用户的任务。"),
            ("human", "任务：{task}\n\n{context}")
        ])
        chain = prompt | self.llm
        return chain.invoke({"task": task, "context": context}).content
    
    def evaluate(self, task: str, result: str) -> tuple[bool, str]:
        """
        评估结果质量，返回 (是否成功, 反馈信息)
        """
        eval_prompt = f"""
        任务：{task}
        助手输出：{result}
        
        请评估该输出是否完全满足任务要求。如果是，请回答 "SUCCESS"。
        如果不是，请指出具体问题和改进方向（用中文）。
        """
        eval_result = self.llm.invoke(eval_prompt).content
        is_success = "SUCCESS" in eval_result.upper()
        return is_success, eval_result
    
    def reflect(self, task: str, result: str, feedback: str) -> str:
        """
        生成反思文本，解释错误原因并总结改进策略
        """
        reflect_prompt = f"""
        任务：{task}
        你的输出：{result}
        评估反馈：{feedback}
        
        请用 1-2 句话反思：
        1. 你犯了什么错误？
        2. 下次遇到类似任务时，你应该如何改进？
        请用简洁的中文输出反思内容。
        """
        reflection = self.llm.invoke(reflect_prompt).content
        return reflection
    
    def run(self, task: str) -> dict:
        """主循环：尝试 → 评估 → 反思 → 重试"""
        for trial in range(self.max_trials):
            # 构建包含历史反思的上下文
            context = ""
            if self.reflections:
                context = "以下是你之前尝试的反思，请避免重复同样的错误：\n"
                for i, r in enumerate(self.reflections, 1):
                    context += f"反思 {i}: {r}\n"
            
            # 执行
            result = self.act(task, context)
            
            # 评估
            is_success, feedback = self.evaluate(task, result)
            
            if is_success:
                return {
                    "success": True,
                    "trials": trial + 1,
                    "final_result": result,
                    "reflections": self.reflections
                }
            
            # 生成反思并保存
            reflection = self.reflect(task, result, feedback)
            self.reflections.append(reflection)
            print(f"尝试 {trial + 1} 失败，反思：{reflection}")
        
        return {
            "success": False,
            "trials": self.max_trials,
            "final_result": result,
            "reflections": self.reflections
        }

`使用示例`

llm = ChatOpenAI(model="gpt-4o", temperature=0.3) agent = ReflexionAgent(llm, max_trials=3) result = agent.run("请计算 15 17 + 23 8，并给出详细步骤。注意：不要直接给出答案，必须分步计算。") print(f"\n最终结果：{result['final_result']}") print(f"尝试次数：{result['trials']}") print(f"反思历史：{result['reflections']}") Reflexion 的关键设计： 1. 自我评估（Self-Evaluation）：Agent 判断自己的输出是否合格 2. 语言化反思（Verbal Reflection）：将错误总结为自然语言，而非隐式的梯度更新 3. 记忆持久化（Persistent Memory）：反思文本被保存到长期记忆中，影响后续所有尝试