Agent 评估

1. Agent 评测和普通大模型评测差在哪？
1. 普通评测大多是一次输入对一次输出，对答案打分就完事，Agent 评测面对的是多步、多轮、带工具调用的完整过程。
2. 评测对象从"答案对不对"扩展到"过程对不对"，一个碰巧答对的 Agent 和一个每步都对的 Agent，价值天差地别。
3. 环境因素进来了，Agent 的表现依赖工具可用性、返回质量和外部状态，评测必须控制环境变量。
4. 非确定性大大增强，同一个任务跑两次轨迹可能完全不同，单次评测的置信度很低，要靠多次采样。
5. 成本维度绕不开，每条评测用例都要真金白银调工具，评测本身的预算也要规划。
6. 面试加分点：能指出 Agent 评测正在从"考卷思维"转向"环境模拟思维"，要造一个可复现的任务世界。
7. 常见误区是拿评测普通模型的思路套 Agent，只测最终答案，上线后一堆过程事故才发现评了个寂寞。

2. 任务成功率和轨迹质量怎么分别评？
1. 任务成功率回答"事办成没有"，通常是二值判定或分档打分，是业务最关心的结果指标。
2. 轨迹质量回答"过程合不合理"，包括步骤是否必要、顺序是否合理、工具选得对不对、有没有多余动作。
3. 两者组合出四种情况，结果对过程也对是理想，结果对过程乱是侥幸，过程对结果错是能力不足，都不对是彻底失败。
4. 只看成功率的隐患是侥幸成功被高估，模型靠蒙和多余动作碰对答案，换成稍微变化的任务就翻车。
5. 只看轨迹的隐患是形式主义，过程漂亮但目标没达成，业务一样不买账。
6. 生产里建议结果指标定 KPI、过程指标定健康度，两者分开汇报、分开优化。
7. 面试加分点：提"效率因子"，在都对的前提下比较步数、耗时和花费，这是同类系统 PK 的隐藏战场。

3. 什么叫 Agent 的轨迹，轨迹里都看什么？
1. 轨迹是一次任务执行的全部记录，按时间序包含每轮的思考、工具调用、参数、返回观察和中间产出。
2. 看轨迹先看规划合理性，第一步的选择是否瞄准了任务的关键子目标，还是上来就乱试。
3. 再看工具使用效率，有没有重复调用同一工具、有没有绕远路、失败调用占比多少。
4. 参数质量单独看，很多轨迹败在参数填错，比如时间格式不对、ID 传成了名字。
5. 信息利用情况是高阶视角，关键观察有没有被模型注意到，还是拿到了数据却没用上。
6. 死循环和原地打转信号要重点扫，连续雷同的调用对是最典型的病态轨迹。
7. 面试加分点：建议把轨迹做成结构化存储而不是日志文本，后续做检索、统计和自动化分析才有抓手。

4. AgentBench 这类公开基准有什么参考价值？
1. AgentBench 是较早的综合性 Agent 基准，覆盖操作系统、数据库、网页、知识图谱等多个环境。
2. 同类基准还有 GAIA 考察通用助手能力、SWE-bench 考察真实仓库改代码、WebArena 考察网站操作。
3. 公开基准的价值在于横向可比，选模型选框架时能拿到一个相对位置的参考。
4. 但它的环境是标准化模拟，和自家业务的工具、数据、流程差异很大，分数迁移性有限。
5. 还有刷榜和数据污染风险，训练数据里见过类似任务，分数虚高但实际能力撑不起。
6. 正确用法是公开基准看下限和相对差距，自建评测集看真实业务上限，两把尺子一起用。
7. 面试收尾观点：基准分数用于淘汰明显不行选手很有效，用于精确预测线上表现则不靠谱。

5. 怎么做 Agent 的自动化评测？
1. 首先要把评测用例资产化，每条用例包含任务描述、初始环境、预期结果和必要的评分要点。
2. 环境要可重置，每次评测从干净状态开始，数据库、文件、模拟服务的状态都能恢复快照。
3. 结果判定能程序判就程序判，比如数据库最终状态、生成的文件内容、返回的结构化字段。
4. 程序判不了的用裁判模型打分，把轨迹和评分标准喂给它，输出结构化的分数和理由。
5. 关键环节可以做步骤检查点，在每个预期动作处埋点验证，比如"此步应先查询余额"。
6. 全流程要可重复运行并输出报告，通过率、平均步数、平均成本、典型失败样例一次给全。
7. 面试加分点：强调评测代码也是代码，要有版本管理和回归纪律，每次改动智能体都全量回归。

6. 用大模型当裁判评 Agent 轨迹要注意什么？
1. 裁判模型最大的问题是偏置，偏好长答案、偏好顺从自己风格的输出，评分标准要先校准再上岗。
2. 位置偏置要处理，对比式评审里换序打分取平均，能显著削弱先入为主。
3. 评分维度要拆细，把"这轨迹好不好"拆成目标达成、步骤合理、工具正确、成本可控等独立小问。
4. 裁判只给分数不可信，必须要求它引用轨迹里的具体证据，引用不存在的细节直接判无效。
5. 裁判自身能力要够格，评复杂轨迹时用强模型当裁判，弱裁判会把对的批错。
6. 要抽样做人机一致性检验，定期拿人工评审结果和裁判结果对表，一致率掉下来就重新校准。
7. 面试加分点：给一个务实结论，裁判模型适合做大规模初筛和相对比较，关键决策仍要人工复核。

7. 中间步骤错了但最终结果对了，怎么算？
1. 这题考的是评分哲学，生产视角下"过程对结果对"和"过程错结果对"必须区别对待。
2. 侥幸成功是最危险的资产，它的成功不可复制，任务稍一变体就翻车，还会污染成功率的乐观估计。
3. 评分上建议引入过程扣分制，结果分之外按错误步骤数扣分，侥幸成功拿不到满分。
4. 更有价值的是区分错误类型，无害冗余动作轻轻扣，危险动作比如删错数据一票否决。
5. 分析时要单独统计"结果对过程错"的比例，这个比例持续走高说明模型在靠运气工作。
6. 反过来的情况也要留意，过程全对结果错，往往是任务定义或环境数据有问题，不是 Agent 的锅。
7. 面试加分点：一句话总结，评 Agent 是评它的可靠能力而不是单次运气，可靠性必须同时锁定结果和过程。

8. Agent 评测数据集怎么构建？
1. 从业务真实工单和日志里挖任务是第一来源，真实任务分布比拍脑袋设计的用例值钱得多。
2. 按难度分层，一眼能做的、需要几步推理的、需要多工具配合的、极端边界的，各占一个层。
3. 按失败模式覆盖设计，把上线后观察到的典型失败反过来造用例，确保每类病都有检测探针。
4. 环境模拟是重头戏，模拟服务的行为要贴近真实，包括报错方式、延迟和数据的脏度。
5. 预期结果要写清判定方式，精确匹配、关键点匹配还是裁判评分，避免评审时各说各话。
6. 数据集要像代码一样管理版本，任务变了、工具变了，用例跟着升级，老用例归档。
7. 面试加分点：给规模建议，起步几十条精选用例比几千条垃圾用例有用，先保证每条都有区分度。

9. 线上 Agent 的效果怎么持续监控？
1. 线上评测和离线评测是两套体系，离线看能力回归，线上看真实表现和健康度。
2. 核心指标包括任务完成率、人工接管率、平均步数、单任务成本、工具调用失败率和用户反馈。
3. 抽样回评是标配，每天抽一定比例的真实轨迹，用裁判模型加人工复核持续估分。
4. 用户信号要接进来，显式的点赞点踩和隐式的重试、放弃、改写行为，都是质量信号。
5. 告警要分层，完成率突降、成本突增、某工具失败率飙升，各自有阈值和值班机制。
6. 版本发布要做灰度，新旧版本并行分流对比核心指标，数据说话再全量。
7. 面试加分点：强调监控面板要给不同角色看不同视图，工程师看轨迹明细，业务方看完成率和成本。

10. Agent 评测的成本怎么控制？
1. 评测花的是真模型调用，全量回归一次可能烧掉几百上千次高质量调用，预算必须显性规划。
2. 分级评测是第一招，日常提交只跑精选冒烟集，每天定时和发版前跑全量，把贵的评测留给关键节点。
3. 缓存是第二招，相同的子任务调用结果缓存复用，特别是确定性工具的返回没必要每次真调。
4. 裁判降级是第三招，大规模初筛用便宜模型，边缘和高风险样本升级给强模型或人工。
5. 环境模拟比真环境便宜且可控，能用模拟就别打真实第三方接口，又省钱又不惹麻烦。
6. 失败样本要复用，评测跑出的失败轨迹是调试素材，也是下一轮用例设计的原料，一鱼两吃。
7. 面试收尾观点：评测预算是质量成本，砍它省的是小钱，赔上的是线上事故，账要这么算。

11. Agent 效果不达标，怎么定位是哪个环节的问题？
1. 先做失败分类统计，把一段时间的失败轨迹按环节归类，工具失败、参数错、规划错、任务超纲各占多少。
2. 数据会说话，哪类占比高就先攻哪类，不要凭感觉先优化最炫的模块。
3. 控制变量法定位，固定其他条件只换一个组件，比如只换模型或只改工具描述，对比通过率变化。
4. 分层评测定位，单独评规划能力、单独评工具选择、单独评参数填充，把复合能力拆开测。
5. 对照最强轨迹找差距，拿人工最优解和模型轨迹逐段对比，第一次分叉点往往就是能力短板。
6. 环境因素要排除，评测环境和真实环境的差异本身就是隐形杀手，先校准环境再怀疑模型。
7. 面试收尾方法论：定位的本质是把"效果差"这个模糊问题不断拆解成可单独验证的子问题，每轮只动一个变量。

包含的内容比较多，这里只做了简单的截图介绍，需要拿来学习的小伙伴查看下方图片！

📚 大模型面试题系列 · 持续更新

INTRO_REMOVED

长按识别二维码，添加微信好友

获取完整版面试题合集，注明 「面试」 通过好友申请