AI Agent 最容易答错的,不是事实,而是问题的范围
每一项都查对了,整个答案仍然可能不完整。
使用 Agent 时,我越来越想追问的一个问题是:它为什么只看了这些?
11 月 1 日,我让 Agent 帮忙查询北京出发的直飞城市,以及哪些航线可能适用海航 PLUS 权益。那轮航班核验使用的是北京首都出发、2026 年 11 月 1—15 日这个窗口。
它先从低价页面整理候选,再逐个核验直飞情况,补查之后确认了 27 个城市。名单、查询记录、补充核验,看起来都很像一份已经做完的答案。
但我看完发现,候选城市有点少,于是补了一句:
等下,上边这个有点问题,不需要看低价,低价的城市有点少。
取消低价限制后,那次确认到的城市增加到了 37 个。
这两个数字让我意识到:Agent 的错误,有时发生在查资料之前。它先替问题画了一条边界,后面所有认真核验,都在这条边界里面进行。
这篇就从这次查询出发,依次讨论三个问题:候选名单怎么漏掉对象,结论怎样超出证据,以及类似的问题到了代码任务里会变成什么。
从 27 个到 37 个,变的是查询范围
低价页面悄悄加了一个条件
低价页面容易找到,信息集中,用来寻找便宜机票很合适。
可当我想知道北京出发有哪些直飞城市时,价格并不是城市能否进入名单的条件。一些有直飞航班的城市,可能没有出现在当时的低价列表里。
如果候选名单只来自这个页面,它们就不会进入下一步核验。后续即使把每条航班都核实一遍,也查不到这些从未被列入的对象。

图 1|AI 生成概念插画。低价入口里的候选可以全部查对,框外仍可能有未被纳入的对象。地图、航线和标记均为抽象示意,不表示真实航点、城市数量或完整覆盖。
37 个,也不能直接写成全部
取消低价限制,修正的是一个已经发现的遗漏来源。它并没有顺便证明,新的查找方式已经覆盖了所有城市。
两轮记录里的承运口径也有调整,因此这不是严格同口径的统计对照,不能把增加的 10 个城市全部归因于一个筛选条件。这里更值得复盘的是:放开候选入口后,又找到了原名单之外的对象。
因此,准确的说法是:那次查询确认到的城市,从 27 个增加到 37 个。
不能据此写成“海航北京出发一共直飞 37 个城市”,更不能把这个数字当作今天的完整航点清单。航班还受查询日期、机场和承运口径影响。
这篇文章复盘的是一次查询过程,不提供最新航线或票价建议。
查准每一项,与找全候选名单,是两项工作
重复核验,补不回名单之外的遗漏
假设一份名单里的 27 个城市都已查对,再检查一次,主要是在确认这 27 个城市有没有错误。
但另一些城市为什么没有进入名单,需要换一种检查方式:回头看候选从哪里来,入口带了什么筛选,还有没有其他来源能补足遗漏。
搜索第一页、热门榜单、低价页面,都可以成为线索。它们也各自带着排序、推荐或价格条件。
一个入口方便使用,不代表它适合作为完整名单的来源。
先判断任务要的是推荐,还是覆盖
如果问题是“推荐几个周末能去的目的地”,一份经过筛选的候选集可能已经足够。
如果问题是“有哪些直飞城市”,就需要更重视覆盖范围。即使无法穷尽,也要交代查了哪些来源、用了什么条件、还有哪部分没有确认。
同一张低价列表,在前一个任务里可能很有用,在后一个任务里却会造成遗漏。判断来源好不好,要先知道它承担的是哪一种工作。
有直飞、历史权益、当前库存,要分别回答
这次查询里,还有三件很容易被合并成一句话的事。

图 2|AI 生成概念插画。机票、过期规则册和待查库存分别代表不同证据,不能互相替代;不是一条已经走通的购买流程。
第一层:某个日期是否有直飞航班
航班查询可以支持这样的结论:在指定日期和机场条件下,查到了符合条件的直飞航班。
这项证据回答航班是否存在,不负责证明优惠是否适用,也不代表其他日期同样有班次。
第二层:某条航线是否被历史权益表列过
当时找到的 PLUS 权益表已经过期,不能用于确认 2026 年 11 月的权益。它可以帮助理解过去的覆盖情况,或者提供继续查询的线索。
后续比对还出现了另一个“27 城”:37 个已确认城市,与历史 PLUS 主表在城市层面的交集。这和最初的 27 城不是同一项统计,也不代表这些城市的所有直飞航班都支持权益。
但表里出现过一条航线,不足以证明现在仍适用同样的权益。这里需要继续核实当前规则,包括适用时间和账户条件。
第三层:当前是否真的有 199 元名额
即使当前规则覆盖某条航线,还要查询具体日期、航班和账户条件下的可用库存。
规则允许使用,与此刻可以买到,仍然隔着一次库存确认。此次文章不能把没有查实的库存写成已确认。
如果把这三层压成“这些城市都能 199 元飞”,结论就超出了现有证据。
更有用的交付方式,是把状态分别保留下来:已确认直飞、仅有历史表记录、当前权益待核实、当前库存待核实。读者才能知道下一步还需要查什么。
放到代码里,需要分清三份文件名单
查询航线容易因为范围太窄而遗漏。代码任务还有相反的风险:范围越做越大,把有关联的文件都改了一遍。
下面用一个假设的例子说明,不对应我的某次真实项目故障。
需求是:修复上传按钮连续点击造成重复提交的问题,并且不要修改公共请求层。
相关文件:为了理解问题,需要读什么
调查时,Agent 可能需要查看上传组件、请求逻辑、重试机制以及相关测试。
这些文件能帮助它理解请求怎么发出、哪里可能重复触发。读取更多上下文,是为了判断原因,并不意味着每个文件都要改。
必须修改的文件:哪些改动有证据支持
进一步检查后,根因也许是组件没有及时阻止第二次提交。此时,必要的改动可能集中在组件逻辑和回归测试。
这里的“必须”应当能回答一个具体问题:为了满足验收条件,为什么需要修改这个文件?
仅仅因为一个模块出现在调用链里,还不足以成为修改理由。反过来,只盯着报错的一行,也可能漏掉真正影响行为的上游逻辑。
允许修改的文件:这次任务的边界在哪里
公共请求层与问题有关,仍然可能处于本次明确禁止修改的范围。
如果最终证明根因就在公共请求层,Agent 应该说明冲突,提出替代方案,或者请求扩大修改范围。它不能为了遵守范围,交付一个无效的局部修补;也不能因为找到了根因,就直接越过限制。

图 3|AI 生成假设示例。此处假设根因在上传组件,并明确限制公共请求层只读。可读、需要改和允许改仍须分别判断;根因或授权改变时,计划也要重新确认。
读取范围可以更大,修改范围需要理由,而明确的授权限制必须被单独检查。
我会给 Agent 加上的四个检查点
比起在任务结尾补一句“仔细检查”,我更愿意让范围在执行过程中可见。
社区整理的 Karpathy Guidelines 提供了一个很接近的参考:动手前想清楚、保持简单、只改必要部分、用可验证的目标推进任务。这份指南基于 Karpathy 对 LLM 编码问题的观察整理,不能直接当作他本人写的规则文件。
我的四个检查点与它有交集,但侧重点不完全一样。指南主要约束代码执行;这次航班查询让我更在意另外两件事:候选有没有漏掉一整类对象,证据能不能支持眼前这个结论。所以,我会保留这两项检查,再把最小方案和验证方式补进去。

图 4|AI 生成概念插画,依据社区 Karpathy Guidelines 四原则作视觉转译,非原仓库配图。四件工具相互配合,不表示必须依次完成的四个阶段,也不与本文四个检查点逐项对应。
开始前:写清目标、假设和验收条件
查航线时,先区分寻找几个可选目的地,还是尽量覆盖直飞城市。价格到底是硬限制,还是最后用于排序的偏好?不能因为低价页面好查,就默认只查低价城市。
改代码时,先写清期望行为、不能破坏的已有行为、明确不能动的模块。遇到会改变方案的歧义,先把不同理解说出来,需要确认时再问。这对应指南里的 Think Before Coding。
目标还要能被检查。比如“修好重复提交”,可以具体成:请求尚未完成时,连续点击只发出一次提交;请求结束后,按钮可以按预期再次使用。多步任务可以逐步写清做什么、检查什么,避免一直做到最后才发现方向不对。这与 Goal-Driven Execution 的思路相通。
建立候选后:检查来源会漏掉谁
名单出来之后,单独问一句:这种查找方法,会让哪一类对象根本进不来?
代码搜索也一样。搜到几个同名函数,不代表覆盖了全部调用方式;只看直接引用,也可能漏掉配置、事件或间接调用带来的影响。
不必每次都把范围扩大到整个仓库。应该根据任务风险补足必要上下文,并明确尚未覆盖的部分。这里检查的是调查范围,不能把“保持简单”理解成少查几个来源、跳过必要证据。
候选覆盖是这篇文章从查询经历里补上的检查,不能说指南已经替我们解决了完整性问题。
下结论和动手前:让证据、方案与改动对应
航班信息保留日期和机场条件;历史权益表保留有效期;没有查询成功的当前库存,就继续标为待核实。
代码任务也要能说清:哪个现象支持这个根因,为什么要改这个文件,用什么测试检验预期行为。“看起来相关”适合成为继续调查的理由,还需要更多证据才能支撑结论。
到选择方案时,再借鉴 Simplicity First 和 Surgical Changes:用足以完成目标的简单方案,只修改这次任务需要的部分。修复上传按钮,不必顺手搭一个通用提交框架;发现旁边的代码可以重构,也不代表这次就要一起做。
简单方案仍然需要有效。如果证据表明必须修改被限制的模块,就先说明冲突,调整方案或请求扩大范围。不能拿“改动最少”当作交付无效补丁的理由。
交付时:验证目标,也检查遗漏与越界
查资料时,检查列出的内容是否正确,也检查是否因入口或筛选方式漏掉了一类结果。
改代码时,让验证对应开始时写下的目标。针对重复提交,可以先用测试复现失败,再检查修复后同一个测试是否通过,并验证原本正常的提交行为。还要看最终 diff:每个改动是否服务于本次需求,是否混入了无关重构、依赖升级或整文件格式化。
测试通过,说明运行过的断言得到了满足。它不能自动证明所有要求都被覆盖,也不能证明每项改动都属于这次任务。没有运行的检查、受环境限制的部分,都应当在交付时说清楚。

图 5|AI 生成假设示例。相同的重复点击测试,修复前发出两次请求,修复后只发出一次;红色回路表示测试仍失败时继续修改。这个测试通过后,仍需检查其他验收条件和改动范围。
下面这段可以直接放进代码任务里,再按项目情况调整:
先说明目标、关键假设、可验证的验收条件和明确的修改限制。
调查时区分:相关文件、计划修改的文件,以及每项修改的证据和理由。
说明候选来自哪些检索,哪些调用方式或场景还没有覆盖。
选择足以达成目标的简单方案,不添加推测性的功能或无关重构。
如果必要修改超出限制,先说明冲突,再调整方案或请求确认。
按验收条件验证结果,并复查 diff 中的每项改动是否服务于本次需求。
完成后列出实际改动、验证结果,以及仍未验证的情况。
这段要求不能保证 Agent 不出错,但至少让人有机会检查它正在回答哪个问题、准备改动哪一部分。也不必把小改动变成一套沉重流程:指南同样提醒,谨慎与速度需要权衡,简单任务应当用判断力处理。
最后,再问一句:它为什么只看了这些?
那次海航查询,最关键的纠正只有一句:不需要看低价。
如果这个条件没有被拿掉,继续核对航班、补充来源、整理名单,都只是在原来的候选集里做得更细。
我们很容易检查 Agent 写出来的内容,却不容易发现它从未考虑过的对象。也很容易被一份详细的完成总结说服,忘记追问证据和授权覆盖到哪里。
所以,下次看到一份条理清楚、来源齐全的结果,我会多问三个问题:
-
候选是怎么来的,有没有一类对象从未进入查询?
-
每个结论对应的证据,到底能支持到哪一步?
-
实际执行的范围,是否仍然符合这次任务的目标和限制?
先把这三件事讲清楚,后面的认真执行才更有意义。
更多推荐

所有评论(0)