面试官系列 · 全文约 2020 字 · 阅读约 5 分钟

上一篇讲了上下文工程，这篇开始我们进入"工程化篇"。面试官一上来就问：“你说你做了个 Agent，那你怎么知道它干得好不好？”

这问题看着简单，其实是工程化的第一道坎。单轮问答看一眼就知道对错，Agent 是多步、带不确定性的任务，还真不能靠"感觉不错"。今天就把 Agent 评测讲透。

一句话先记住

Agent 评测不是看单条回答，而是同时看"结果、过程、成本"；靠离线基准题集、自动评测（含 LLM 当裁判）、人工抽检和线上反馈组合，再用回归测试在每次改动后卡住质量。

评测到底测什么？

先搞清楚测什么。一个 Agent 好不好，要从三个层面看：

结果层看任务有没有完成、最终对不对，这是最硬的指标；过程层看它走的步骤对不对、工具有没有调对、有没有绕路或重复；成本层看花了多少 Token、多少步、多久、多少钱。只看结果有个隐患：过程错了、最后碰巧对，这种"蒙对"下次很可能就翻车。

评测的四种方法

知道测什么，接下来用什么手段测？主要有四种，得组合着用：

离线基准是准备一套固定的标准题集，每次都拿它反复跑，结果可对比；自动评测用规则断言或让模型当裁判，能大规模跑、便宜；人工评测是抽检和人工标注，最准但贵、慢；在线评测看真实用户的反馈、点赞点踩和 A/B 测试。没有一种能包打天下，通常是自动跑大盘、人工来校准。

LLM-as-judge：让模型当裁判

这里有个高频词 LLM-as-judge，单独说清楚：

做法是把"模型的答案 + 评分标准"一起给另一个模型，让它按细则打分，好处是能评那些没有标准答案、开放式的输出，还能批量跑。但裁判本身也有偏差，研究里反复证实三个：位置偏差（偏爱排前面的）、长度偏差（偏爱写得长的，个别模型相反）、自我偏好（偏爱跟自己风格像的）。所以裁判也要校准——随机交换答案顺序、做长度控制、定期拿人工标注对一下，不能把它当绝对真理。

关键指标有哪些？

落到具体数字，常盯这几个：

任务成功率是最重要的核心指标；过程上看工具调用准确率、平均步数/轮次；质量上看幻觉率、拒答率；再加上延迟和 Token/成本。思路是先盯成功率，再看过程和成本，别一上来就被一堆指标淹没。

别忘了回归测试

评测还有个关键用途：回归。你改了 prompt、换了模型、加了工具，很可能修好一个问题、却悄悄改坏另一片。

做法是把标准题集纳入 CI，每次改动自动跑一遍，对比成功率和各项指标，掉了就拦住不让上线。长任务还适合用"评分细则"分多个小项打分，比简单的"成功/失败"二元判断更细，也更接近人的判断。

工程上要盯住的几件事

**题集要贴近真实：**标准题覆盖典型场景和边界情况，别只挑好答的，否则分数虚高。

**自动+人工配合：**自动评测跑量和回归，人工抽检校准裁判，尤其要做"元评测"，检查裁判自己判得对不对。

**裁判要校准：**随机交换顺序、控制长度、识别自我偏好，定期和人工标注对齐。

**过程也要留痕：**把每一步的轨迹（思考、工具调用、结果）记下来，方便复盘和定位问题。

**成本和质量一起看：**成功率高但步数爆炸、成本翻倍也不算好方案，要找平衡点。

最容易踩的三个坑

坑1：只看单条回答，不评任务完成率

⚠️ **问题现象：**拿几条回答人工看一眼觉得不错就上线，没有标准题集和任务成功率，整体水平说不清。

🗣 白话：抽查几份作业看着行，就当全班都及格了。

**✅ 解法：**建标准题集，以任务成功率为核心，配合过程和成本指标，量化整体水平。

坑2：把模型裁判当绝对真理，不校准偏差

⚠️ **问题现象：**盲信 LLM-as-judge 的分数，忽略位置、长度、自我偏好偏差，导致评测结果系统性失真。

🗣 白话：让一个有偏科的老师独自阅卷，还不复核。

**✅ 解法：**裁判做校准：交换顺序、长度控制、定期用人工标注对齐，做元评测。

坑3：题集不更新、不做回归，线上裸奔

⚠️ **问题现象：**题集常年不更新，改动后也不跑回归，结果改好一个、改坏一片，问题直接流到线上。

🗣 白话：考试卷一直不换，改了教学方法也不测验。

**✅ 解法：**把题集纳入 CI 做回归，持续补充新场景，指标掉了就拦住上线。

面试官最后爱听啥

一句话总结：你没法改进一个无法衡量的东西；Agent 评测就是用"结果+过程+成本"三层指标，配合离线基准、自动裁判、人工抽检和线上回归，让每次改动都有可量化的依据。

答题一句话：“我会建标准题集，以任务成功率为核心，结合轨迹和成本指标，用 LLM 裁判加人工抽检做自动评测，并在 CI 里跑回归卡住质量。”

会打比方：“评测就像给 Agent 建考试加质检：先备标准题，再看做对多少，还要检查解题过程，最后算算花了多少成本。”

**说得出细节：**能甩"任务成功率、轨迹、rubric、LLM-as-judge、位置偏差、自我偏好、元评测、回归、golden dataset"，就说明你真懂工程化。

新手建议：先给你的 Agent 攒 20~30 道贴近真实的标准题，跑出基线成功率，之后每次改动都跑一遍，你会第一次"看见"自己的 Agent 到底在什么水平。

— AI小瑜 · 面试官系列 · 工程化篇 —

📂 面试官系列合集 · 点击阅读全部