AI Agent 的 Reflection 反思机制:从玩具到生产的分水岭
一、我先把“反思”这个词拆开
“Reflection 是什么”这个问题,我听过太多遍答案,几乎都是同一句:让模型自己再检查一遍答案。这句话不能算错,但它只描述了动作,没有描述机制。检查什么、拿什么当依据、检查出来不通过之后怎么办、失败了要不要停——这些才是工程问题,而这些恰恰是这句话里缺失的部分。
我会用一个更严格的定义来区分两件事:自检(self-check)是一次额外的模型调用,反思(reflection)是一条带判定标准和收敛条件的纠错链路。自检的输出是一段“我觉得还行”的文字,反思的输出是一个明确的控制信号——继续、换策略、还是终止。二者的差别在 Demo 里看不出来,一上生产就天差地别:前者会把空结果包装成漂亮的结论,后者会在数据为空时直接拒绝输出。
我判断一个 Agent 有没有真正落地反思,只看一个很土的标准:把它的工具返回值强制造假成空或错,它会不会停下来。如果它仍然一本正经地给出报告,那它只是会调用工具的大模型;如果它开始回溯参数、换检索、或者明确告诉你“这一步拿不到数据,任务无法完成”,那才算摸到了反思的门槛。

图 1:开环输出与反思闭环的结构差异。真正的差别不在“多问模型一次”,而在于是否存在判定与收敛条件
这张图里最容易被忽略的是右下角那条虚线的返回箭头。它是整个机制的成本开关:只要存在回流,就必须有上限,否则一次参数错误就能让 Agent 在“执行—复盘—再执行”里耗尽预算。后面我会专门讲这条边怎么设。
二、四阶段链路:我实际部署的顺序
我把反思链路固定成四个阶段,顺序不能乱。很多团队失败,不是因为少写了反思,而是因为把顺序搞反了——先让模型“复盘原因”,再去看结果,最后必然变成模型给自己的幻觉写解释。
第一阶段,结果校验。这一阶段的核心不是让模型评判好不好,而是先做机器能做的判定。空数组、字段缺失、条数为零、数值越界、格式不合 schema、多个来源之间互相矛盾——这些信号用不着模型,几行代码就能给出确定结论。我坚持把确定性校验放在模型判断之前,因为模型判断是可协商的,代码判断不可协商。
第二阶段,错误复盘。只有确定性校验给出“不通过”的信号,才进入归因。归因要收敛到有限的几类,我一般分五类:工具选错、参数错、检索不足、上下文缺失、推理链断裂。分类的意义在于它能映射到不同的修正动作,如果归因结果是“模型觉得不够好”,那这条链路等于没做。
第三阶段,迭代修正。修正动作必须落到具体变量上:改哪个参数、换哪个工具、补哪一段检索、插哪一步。我见过最典型的形式化反思就是“请重新回答一次”,那只是重试,不是修正——同样的输入、同样的上下文,换来的大概率是同样错误的输出。
第四阶段,沉淀总结。把这次失败的模式写进长期记忆或规则库,让下一次不必重新踩。这一阶段最容易被砍掉,因为它对本次任务的收益为零。但它是唯一能让系统“越用越稳”的环节,我通常把它做成异步任务,不阻塞主链路。

图 2:我固定的四阶段顺序。校验在前、归因在中、修正落地到变量、沉淀异步收尾
顺序反过来会怎样?如果先归因再校验,模型会先编织一个“可能是什么原因”的假设,然后这个假设会污染它对结果的判断——它开始为假设找证据,而不是为结果找问题。这是我在调试中最常遇到的隐性 bug,也是我坚持“确定性校验先行”的根本原因。
三、一个线上案例:为什么调 prompt 没用
数据查询类 Agent 是最典型的重灾区,我在这类系统上踩过很深的坑。表现是这样的:工具调用成功、HTTP 200、返回体结构合法,但里面是空的。没有反思链路时,Agent 拿到这个空结果照常往下走,把“没有查到数据”总结成“该指标本期表现平稳”,再把一段毫无依据的分析输出给用户。
第一反应往往是 prompt 有问题。改措辞、加约束、加重“禁止编造”的提示词——我试过全部这些手段,效果接近于零。原因是错误不在生成侧,而在判定侧缺失:系统里根本没有一个环节负责说“这次结果是不可用的”。你在生成侧反复叮嘱“不要编”,但模型看不到判定的边界,它只能继续编。
补上链路之后,改动的其实只有三件事:在工具返回后插入空值/完整度判定;把失败归因收敛到参数维度(字段名拼错、时间范围越界、筛选条件互斥);让修正动作直接改写参数重试。准确率的变化不是靠模型变聪明,而是靠错误不再被当作正常输入流转下去。

图 3:同一条查询任务的两种走向。左侧失真的根源是缺少一个会说“不可用”的环节
四、三类纠错场景,对应三种完全不同的实现
反思不是一种实现,而是三类问题的统称。把它们混在一起写,代码会立刻失控,因为三类场景的判定依据、修正手段、失败代价都不一样。
| 场景 | 典型失败 | 判定依据 | 修正动作 | 我的优先级 |
|---|---|---|---|---|
| 工具调用纠错 | 参数缺失、类型错、选错工具 | schema 校验、返回码、空结果 | 补参数、改类型、换工具 | 最高,收益最直接 |
| 推理逻辑纠错 | 步骤遗漏、顺序颠倒、依赖错乱 | 子目标清单与实际执行轨迹比对 | 重排计划、补插入缺失步骤 | 中等,需要可观测轨迹 |
| 回答内容纠错 | 空洞、数据缺失、自相矛盾 | 引用可溯源、数字与工具结果一致 | 重写、删去无依据的断言 | 兜底,成本最高 |
工具调用纠错是性价比最高的一层,因为它的判定几乎不需要模型参与:JSON schema 一校验、返回码一看、结果条数一数,就能给出确定结论。我把这一层做成纯代码的守门人,模型只在“修正”环节被调用。这一层做实之后,之前一半以上的“模型不听话”问题会自己消失。
推理逻辑纠错的难点在于需要有东西可比对。如果执行过程没有落成结构化轨迹,反思就变成了让模型回忆自己刚才干了什么——回忆本身就是不可靠的。我的做法是强制 Agent 先产出子目标清单,执行时逐步打勾,最后一比对就知道漏了哪步、顺序错在哪。
回答内容纠错是最贵的一层,因为它必须重新过一遍生成。所以我只让它处理两类硬伤:答案里的数字与工具返回值不一致,以及出现了工具结果里完全不存在的实体。其余的“不够好”“不够专业”一律不进入这一层,那是产品体验问题,不该用反思链路买单。

图 4:三层纠错的成本—收益分布。先做工具层,再补逻辑层,回答层只兜硬伤
五、上线前我会守住的三条线
反思链路最危险的地方在于它自带一个正反馈:反思失败会触发重试,重试失败又触发反思。没有约束的情况下,这个循环会把一次普通失败放大成资源事故。我在生产环境里固定守三条线。
第一条,迭代次数必须有硬上限。不设上限的反思不是“更严谨”,而是必然的 token 爆炸和任务卡死。我的默认值是 2 到 3 次,超过就带着完整的失败信息终止,把“我没做成”如实交给用户,而不是第七次尝试后编一个答案。这里有个容易被忽略的细节:上限要作用于同一条失败原因,不是整条链路总次数。同一个参数错三次就没必要再试了,但换成另一种失败类型可以重新计数。
第二条,错误必须分类,可重试的和不可重试的要分开。参数格式错、网络抖动导致的超时、临时限流,这些重试有意义;权限不足、数据不存在、字段在当前库里根本不存在,重试一百次结果都一样。把后者塞进重试队列,本质上是拿预算换一个注定失败的结论。我的做法是在工具层就直接标注错误类型,反思层只消费这个标记,不让模型自由判断“值不值得再试一次”。
第三条,反思模块要和业务逻辑解耦。反思一定要能独立开关、独立观测、独立升级。把它写死在主流程里,会出现两个后果:一是压测时没法单独关闭反思做对照,你永远说不清准确率提升是反思的功劳还是别的改动;二是反思逻辑一改就要动主业务流程,回归范围不可控。我通常把它做成中间件或独立服务,主链路只负责发出“任务失败”事件。

图 5:我采用的解耦形态。主链路不含反思分支,反思以中间件方式消费失败事件并回送修正指令
六、我的判断:反思不是万能药,它有明确的替代品
把反思讲成“企业级 Agent 必备”很容易,但我更愿意说清楚它什么时候不该用。反思的本质是用额外算力换确定性,而同样的确定性,有些场景用更便宜的手段就能拿到。如果分不清这几者的边界,反思会被当成万能胶,粘在所有失败上,最后变成一个昂贵又不可解释的黑盒。
重试(retry)能解决的,不要用反思。网络超时、限流、偶发的 5xx,这些失败与推理无关,退避重试就够。用反思去处理它们,等于让模型为一个跟自己无关的错误写检讨,纯属浪费。
硬校验(guardrail)能拦的,不要用反思。空结果、字段缺失、格式非法、数值越界,这些用 schema 和断言就能拦住,确定、便宜、可解释。我始终坚持把这类判定放在模型之前,模型只处理代码判断不了的语义问题。
需要多方案择优时,反思不如采样投票。如果一个任务的关键是“从多种解里挑最好的”,让模型自我批判的可靠性远低于独立采样多个结果再交叉验证。自我批判的失效模式很固定:模型会倾向于认可自己刚写出的东西。这是我在实践中反复验证过的现象,也是我不把“模型说它好了”当通过标准的原因。
真正非反思不可的,是那种失败原因需要跨步骤回溯、且修正动作必须改变执行路径的任务。工具参数写错要回到规划层改参数、检索不足要回到检索层补证据、多步任务漏了一步要插回中间——这类“知道错了但错在上游”的问题,只有反思链路能覆盖。

图 6:四种纠错手段的适用边界。反思只在“上游错、需改路径”时不可替代
七、落到代码上,我关心的是这几行
反思链路的骨架其实很小,难点全在判定条件的措辞上。我一般把它写成一个带预算的循环,把“校验、归因、修正”压在一个函数里,让预算和终止条件显式可见。
from dataclasses import dataclass
MAX_ATTEMPTS_PER_CAUSE = 2 # 同一失败原因最多重试次数
TERMINAL_ERRORS = {"PERMISSION_DENIED", "DATA_NOT_FOUND", "SCHEMA_MISMATCH"}
@dataclass
class ErrorTag:
kind: str # TOOL / PARAM / RETRIEVAL / CONTEXT / REASONING
retryable: bool
detail: str
def validate(result) -> ErrorTag | None:
"""确定性校验:不调用模型,先拦住能拦住的问题。"""
if result is None or len(result.rows) == 0:
return ErrorTag("TOOL", True, "empty_result")
if result.missing_fields:
return ErrorTag("PARAM", True, f"missing:{result.missing_fields}")
if result.code in TERMINAL_ERRORS:
return ErrorTag("TOOL", False, result.code)
return None
def run_with_reflection(task, executor, max_rounds: int = 3):
attempts = {}
for _ in range(max_rounds):
result = executor.run(task)
err = validate(result)
if err is None:
return result # 校验通过,直接交付
attempts[err.kind] = attempts.get(err.kind, 0) + 1
if not err.retryable:
return fail(task, err, "terminal") # 不可重试,立刻终止
if attempts[err.kind] > MAX_ATTEMPTS_PER_CAUSE:
return fail(task, err, "budget_exhausted")
task = plan_fix(task, err) # 归因结果落到具体变量
return fail(task, None, "rounds_exhausted")
这段代码里我认为最重要的不是 plan_fix,而是两个终止分支。绝大多数翻车现场,都不是反思不够聪明,而是它没有体面的退出方式。一个能明确说“我试了两次,参数始终对不上,需要人工确认”的 Agent,在生产环境里的价值远高于一个第六次尝试后勉强拼出答案的 Agent。前者可运维,后者只能被信任或废弃。
本文观点
更多推荐


所有评论(0)