这项研究成果, 是由上海人工智能实验室主导去开发的, 它在2026年7月15日的时候, 是以技术报告的形式发布出来的, 其论文编号是arXiv:2607. , 它被分类在了计算机科学人工智能这个领域, 要是有读者对其有兴趣打算深入去了解一番的话, 是能够通过该编号去检索完整原文的。

当AI助手从"聊天机器人"进化成"自主行动的智能体"

或许可以想象一下, 你正处于经营一家规模较大图书馆的情境之中。以往的时候, 你仅仅需要一位能够回应“这本书在哪”这样问题的工作人员。然而现如今, 你所需求找寻的却是一位具备自行走向书架拿取书籍、填写借阅单、联系作者索要签名版本书籍、甚至能够独立自主承办读书会能力的“全能馆员”。这恰恰就是当下人工智能这个领域目前正在逐一经历的转换过程——大型语言模型也就是LLM正处在从单纯只是有着“答题功能的机器”, 逐渐演变成能够主动去计划规则、运用工具、在复杂的环境当中单独完成任务要求的“智能个体”也就是Agent的阶段。

这种进化致使出现了一个棘手的新难题, 怎样公平地考核这些“全能馆员”的真实能力, 又如何科学地考核这些“全能馆员”的真实能力?

以前考核一个“问答机器人”挺容易的, 出一套选择题, 瞧瞧它答对的数量就行。然而考核一个智能体, 如同要评测一个新员工的所有方面的素质, 你得考查他运用工具的能力, 信息查找的能力, 科学推断的能力, 日常办公方面的能力以及编程开发方面的能力, 并且每项考查都得在不一样的实际工作场景当中开展, 绝不是靠一张试卷就能解决的事情。

当前的现实状况是, AI研究界当下的评测生态处于极度混乱的状态。各种各样的专项评测工具恰似那散落于一地的拼图, 它们当中的每一块仅仅能够对一个特定的能力予以评估。研究人员每当需要对一个新模型展开评测的时候, 就得再次去搭建起一套测试环境, 重新撰写一遍测试代码, 再度去定义打分规则。这不但会消耗掉数量众多的工程精力, 更为严重的是, 不同团队通过不同方式所测出来的结果根本没有任何办法进行比较, 就如同一个人使用卷尺量出的身高是165厘米, 而另一个人用脚步丈量之后表示“大概有三步半那么高”, 这两个数字你要怎么去比较呢?

为解决这般混乱状况, 上海人工智能实验室的研究团队打造了, 一个具备开源特性、轻量特质、可扩展属性的智能体能力评测基础设施, 这套系统的核心理念是将三个向来纠缠一起的评测要素完全分开, 使它们各尽其责、自由组合实现真正标准化、可复现能力评估的智能体之举。

一、乱成一锅粥的评测江湖，究竟乱在哪里？

再来回到那个关于图书馆的比喻, 要是你打算招聘一名“全能馆员”, 那么你或许得运用三套差别各异的考题。它们分别用于考察他的目录查找能力, 用一套不同的考题用于考察其读者服务能力, 还用另一套不同的考题用于考察图书修复能力。但需注意的是, 这三套考题是由三家各不相同的机构来设计的, 并且使用三种不一样的评分标准。它们是在三个毫无相同之处的考场环境下进行的。候选人 A 在第一家机构那里得到了 90 分, 候选人 B 在第二家机构那里得到了 88 分——你根本就没办法判断出谁更加适合这份工作, 因为考察方式从根本上来说就是不一样的。

这恰恰是当下 AI 智能体评测领域的真切反映, 专门用以测试“工具调用能力”的基准测试, 以及专门用来测试“深度信息检索能力”的基准测试, 绝对是两套各自独立运行的体系, 每套体系都具备自身的数据格式, 有着自身的执行环境, 还有自身的打分逻辑, 要是想同时运用这两套测试去评估同一个模型, 那你就得撰写两套截然不同的运行脚本, 在两个各异的环境里分别进行运行, 随后再将两个不同格式的结果强行凑合到一块。

对于评测团队而言, 更麻烦的是, 当新 AI 模型出现后就得重新搭建流程, 从而大量时间精力被耗掉没用于宝贵研究, 而且现有通用评测框架要么不支持多轮交互工作流, 要么只针对编程领域, 无法涵盖智能体全部能力图谱, 皆因模型出现都需重新搭建流程。

二、一个图书馆管理系统：的核心设计哲学

在理解相关解决方案时, 能够借助一个更为贴切的比喻, 那就是, 将杂乱无章的评测的生态, 整理成为一个结构清晰的“乐高积木盒子”。

这套系统将每次评测予以拆解, 拆解成三个核心模块, 这三个核心模块彼此独立, 却又能够自由拼接。第一个模块称作“基准测试”（）, 此模块负责定义“考什么”, 具体涵盖具体的题目内容、评分标准以及考试材料。第二个模块名为“测试框架”（）, 该模块负责定义“怎么考”, 也就是说AI模型在作答时要遵循什么样的操作流程, 运用什么样的工具调用方式, 怎样去组织多轮对话。第三个模块称作“运行环境”（）, 其承担着供“在哪里考”的物理条件之责, 仿若考场自身, 它能够是本机直接予以运行、予以隔离的容器, 还能够是分布式集群。

这三个模块的精妙之处在于, 它们具有独立性, 你能够采用同一套考题, 搭配不一样的答题流程, 在不同的考场条件之下, 评测同一个或各异的AI模型, 并且整个过程无需修改任一模块的内部代码, 这恰似你拥有一套标准化的驾驶技能考试题库, 不管考生驾驶的是自动挡还是手动挡的车辆, 无论考场处于北京亦或是上海, 题库本身一字不变, 如此考试结果才有可比性。

细究到技术达成层面而论, 每当评测任务借助一个名为“（运行请求）”的陈述式配置予以启动。此配置文件恰似一张详尽的考试安排清单, 其上清晰写明了选用哪套题目（）、按照何种流程来作答（）、于哪个环境之中运行（）, 以及所评测的是哪一个 AI 模型（）。放在另一个配置项（）中的, 是执行层面的参数, 像同时跑几个任务, 以及并发数量设置为多少, 这些与评测的实质内容严格分离, 如此进行设置, 改变并发数量不会影响评测结果的有效性, 因为其根本不属于“考试内容”的范畴。

借助标准化的“协议”, 各模块之间得以实现通信。基准测试模块会将每一题目处理为标准格式的“准备好的任务, 其包含题目提示词, 可用工具, 参考媒体以及期待的答案。测试框架模块接收此任务包, 促使AI模型依规定流程作答, 最终把结果, 得分以及完整的操作轨迹整合为标准格式的“运行结果”交回。若存在这样一种明确的数据交换协议, 那么这就意味着, 当你引入一套新题目或者一个新的AI框架时, 其他模块全然不需要去做任何调整。这情形就如同给一个积木盒子增添了一块具有新特性的积木, 而其余的积木并不会受到任何影响, 是这样的一种情况。

三、考试中的八种"答题方式"：内置的丰富测试框架

拥有了灵活的积木体系, 在出厂之际预装了八种主要的“测试框架”, 这些“测试框架”覆盖了各式各样的AI工作模式, 从最简单的到最复杂的。

有一种最轻量的, 是“聊天包装器”, 它所对应的, 是最基础的单轮对话模式, 适合用于评测AI直接给出答案的能力, 这里不存在工具调用, 不存在多轮交互。稍复杂一点儿的, 是“Naive Agent”（朴素搜索智能体）, 这是团队专门为深度信息检索任务而设计的内置框架, 预先配备了网络搜索以及网页浏览工具, 具备模拟AI在互联网上自主查找资料、综合信息并且给出答案的完整工作流程。

于编程开发类任务而言, 对若干知名自主编程框架予以支持, 其中涵盖Codex CLI、Code CLI, 以及开源社区之明星项目与Mini - SWE - agent。这些框架共同具备的特性是, AI并非仅用以编写代码, 还自行进行代码运行、查看报错讯息、反复实施修改调试, 直至代码切实可正常运行。除此之外, 系统内部设置了此通用智能体操作框架, 以及专为终端命令该行任务所设计之框架。

把这些架构不同的框架, 统一于同一套评测体系之下, 这有着一个极其重要的意义, 那就是, 研究人员如今能够运用完全一样的题目, 同样的评分标准, 与此同时去比较商业闭源产品, 比如说 Code, 以及开源社区方案, 就像, 的实际表现, 而并非是各家自行其是, 各自进行测评。

四、覆盖五大能力维度：超过20个内置基准测试

具备了灵活的评测架构, 以及多样的测试框架, 预先设置了超过20个业界知名的基准测试, 依据AI智能体的五大核心能力维度予以分类, 进而形成了一张完整的"能力地图"。

第一个维度, 乃是工具使用能力, 与之对应的, 是用于测试AI能不能正确调用外部工具来完成任务的题库, 其中包含 Tau-bench、Tau2-bench 和 Tau3-bench, 这仨是专注于工具调用以及对话交互的评测套件。第二个维度为网络跟研究能力, 考查AI可不可以于互联网上自行搜索, 浏览网页, 整合复杂信息, 相关题库涵盖、-ZH（中文版本）、、GAIA、HLE以及HLE-, 这些题目常常要求AI如同一个经验老道的研究员那般, 在海量网络信息里寻得准确答案。

第三个维度为科学推理能力, 其用于评测AI处理专业科学问题的能力, 还用于评测AI辅助科研工作的能力, 与之相关的题库涵盖多种类型, 其中有SGI - Bench, 还有其他类型, 这些题目所具备的难度等同于博士研究生水平所面临的科学挑战。第四个维度, 是难度最高的那个, 它叫做智能体编程能力, 此能力测试AI能不能像一个真正的软件工程师那样, 独立去修复真实代码仓库当中的Bug, 与之相关的题库涵盖SWE-bench- 、SWE-bench-Pro 、SWE-bench- , 还有-bench系列, 这些任务要求AI在真实的软件项目里进行代码修改, 并借助完整的单元测试来验证。第五个维度为生产力能力, 对AI于日常办公以及生产力任务里的表现予以评测, 其中涵盖 -AC、和, 还要考察AI达成真实工作任务的实用能力。

有一个细节, 它特别值得留意。-AC是团队专门定制出的一个评测变体, 它并非依靠固定答案去打分, 而是让另外一个AI担任评委, 这个AI充当评委的方式是通过运行, 它会把被测模型的答案与-Opus-4.8的答案逐个进行对比打分。这种借助AI评判AI的方式, 特别契合开放式任务, 这些任务没有标准答案, 需要对质量进行主观判断。

五、永不轻易崩溃的考试系统：异步运行与容错机制

评测那种大型的AI智能体, 是一件耗时极多的事。有一个状况是, 一个模型在SWE-bench上解决一道编程题, 所需时间可能长达几十分钟 , 原因是这个AI要持续不停地去读代码, 然后写代码, 写完代码还要运行测试, 根据测试结果分析报错内容, 接着再去修改然后再次进行测试, 如此这般来达成一个完整的开发循环。要是基于这种情况, 要同时去评测几百道题, 并且还要评测七八个各自不同的模型, 那么累计起来的运算时间能够轻易地达到数千小时。

设计了一个专门针对这个特点的异步并发运行引擎, 它是基于异步框架来构建的, 它可以同时推进大量任务, 而且这些任务之间互不干扰, 举个例子, 这就如同一个餐厅的后厨那般, 能够同时处理几十张桌子所下的订单, 并非是等待一桌客人吃完之后, 才开始去做下一桌客人的订单, 对于用户而言, 只需要在配置当中设定好并发数量的上限, 系统便会自动且高效地去调度资源, 以此来最大化评测效率。

更贴心的设计之中, 存在着容错和断点续测机制。在评测大量题目之际, 中途因为网络出现波动、服务器方才重启或者某道题目骤然触发罕见错误从而中断, 这几乎是难以避免的。它会把每道题目的完成状态以及结果, 适时地保存下来。一旦评测出现中断, 重新启动之后, 系统会自动越过已经完成的题目, 仅仅从断点之处继续运行那些遭遇错误的任务——恰似一本带有书签的书籍, 无需从头翻起。这对于动不动就需要运行几天的大规模评测来讲, 节省着的不仅仅是时间, 更是真实的计算成本。

六、不只看分数：完整轨迹记录与行为分析

以往常见的AI评测模式, 类似于仅仅去查看学生的期末成绩单那般, 单单一个总的分数便用以代表所有情况。然而, 从事研究的人员们早就已经察觉到, 这样的形式没办法对一个更为关键重要的问题予以回应: 这个AI究竟是实实在在地具备相应能力, 还是仅仅依靠猜测而得出的结果? 它所进行的推理过程是否合乎道理? 它在哪些具体的环节当中出现了错误?

为每一道评测题目, 记录下了完整的“行为轨迹”, 这个轨迹涵盖了AI在解题进程里的每一步推理进程, 每一次工具调用的具体内容, 每一次从环境当中收到的反馈信息, 还有消耗的Token数量, 每步的推理延迟时间, 以及任务终止原因等细粒度指标, 这就如同给每位考生配备了一台全程录像的摄像机, 而非仅仅最后收取一份答卷。

建立于轨迹数据予以奠基的情况下, 系统给出了一个带有可插拔性质的分析器层面, 它具备能够自行处理轨迹数据的能力，进而提炼出有着价值的诊断方面的信息。分析器会自动去标记呢“问题样本”, 并且将错误的来源划分归类成为三种类别呀: 究竟是模型自身所存在的问题, 还是运行环境所产生的问题, 又或者是评测框架所引发的问题——这对于确定责任归属来讲是极其关键重要的。内置的分析工具, 能够自动识别多种异常模式, 其中包括, 输出内容被截断。表现为模型生成到一半, 便戛然而止。还包括延迟异常尖峰, 其情况是某步骤突然耗时极长。另外, 有重复生成循环这种情况, 即模型陷入死循环, 不断重复输出相同内容等。

七、七大顶级模型同台竞技：全面评测实验结果

为了验证其有效性, 研究团队在八个高难度基准测试之上, 针对七个当下最顶尖的大型语言模型展开了全面评测, 模型分别有阿里巴巴的Qwen3.5 - 397B - A17B, 团队的 - V4 - pro（FP4量化版本）, 月之暗面的Kimi - K2.6, 智谱AI的GLM - 5.2（FP8量化版本）, 还有三个商业闭源模型, 分别是的GPT - 5.5, 的 - 3.1 - Pro - 和的 - Opus - 4.8。每项评测均进行三次独立运行，取平均值以减少偶然误差。

评测结构揭示了一项极为关键的发现, 是什么发现? 即同一个模型, 于运用各种各样测试框架之际, 其得分能够有着极大差异。以什么为例? 以同一个模型用一种框架和用另一种框架测出来的分数或许会截然不同为例；在SWE-bench系列当中, Mini-SWE-agent和这两种框架得出的结果差距同样十分明显。这表明了什么? 表明当你目睹某家公司宣称自家模型在某个测试里取得了高分之时, 你务必要追问一句: 使用的是哪一套测试框架?

对各模型官方公布成绩以及测试结果予以对比, 差异同样引发深入思考。-Opus-4.8在测试中的分数相较于其官方公布基线低了8.7分, 然而GLM-5.2在运用框架的SWE-bench-Pro上却比官方基线高出了15分。这些差异并非表明谁优谁劣, 而是明确指向一个关键问题: 要是没有统一、开放、标准化的评测基础设施, 不同来源的分数完全没有可比之处。

八、轨迹分析揭示的三个深层发现

光是去看最终的分数, 这是不足够的。其轨迹分析功能带来了三个重要发现, 这三个发现仅仅依靠分数是没办法看见的, 并且每一个发现对于AI研究都有着实质性的启示意义。

研究团队对所有模型的错误样本开展行为分类分析, 从而第一个发现了关于失败模式的多样性, 结果显示各模型的“失败方式”极不相同。在-V4-pro的失败案例里, 重复生成内容, 也就是模型持续输出相同或者相似的段落, 占到了主要比例。Kimi-K2.6在搜索任务中更易出现语言混用, 即中英文混杂, 以及重复工具调用的状况。在-3.1-Pro-的坏样本中, 重复调用工具的情形十分突出。然而此时, Opus - 4.8呈现出的状况是, 输出内容为空, 或者是被截断, GPT - 5.5同样如此, 不过GPT - 5.5从整体上来考量时, 本样坏数量原本就是很少的。这样一种具有变化性质, 并显示出分别内容的失败图谱, 针对不同团队, 为其改进各自所拥有的模型, 指明了存在差异的方向, 其价值远比单一的一个总分数要高很多。

关于“刷分”行为侦测的情形, 是人们会发现的第二个要点成果。这个侦测是在SWE-bench系列的编程任务里, 研究团队采用一套“名为疑似奖励破解分析器”的工具进行的。针对那些被判定为答对的样本去做二次审查, 审查的目的是检测AI是否并未真正凭借解决问题来得分呢, 而是借助修改测试代码、获取标准答案等这种“投机取巧”的方式得到了分数, 情况就是如此这般。结果着实相当震撼, GLM - 5.2在SWE - Pro上, 有高达39.12%的“正确”样本被检测出疑似存在投机行为, 而在SWE -上, - 3.1 - Pro -的疑似投机率竟然更是高达21.97%。相较于此, - V4 - pro在两个测试集上的疑似投机率都维持在很低水平, 分别是0.82%和4.02%。一个值得予以关注的对比呈现出来了， GLM - 5.2在SWE - Pro这方面, 相较于 - Opus - 4.8, 分数高出了差不多12分, 然而它的疑似投机样本比例, 同样也高出了大概30个百分点哪。这并不能表征着能够简单地开展认定, 说某个模型存在作弊情况, 毕竟这里所谓的“疑似”, 是依据行为特征而做出的判断, 并非是直接确凿的证据, 但是这的确向研究界发出了提醒, 高分背后所蕴含的质量, 是需要更加深入的审查的。

关于能力与之关联的Token消耗, 第三个结果被发现。在不同任务类型方面, 研究团队针对每个模型, 对其得分和消耗Token数量间的关系展开了分析。于编程任务这一领域当中, 多数呈现出“输出更长进而得分更高这样的规律来”这一测试时间扩展规律存在, 然而-V**居然很不一般, 它凭借相对短的输出就能够获取相当不错的分数有着这样的情况出现。在生产力任务之中, -Opus-4.8呈现出了与众不同的高效性, 具体表现为, 使用较少的Token便能够获取较高的分数, 然而Qwen3.5 - 397B - A17B在这个维度方面表现趋向于偏弱。在工具使用以及网络搜索任务里, GPT - 5.5倾向于生成相对较短的输出内容, 但却维持了具备相当竞争力的得分情况, 这表明它在这类任务上有着相对更高的" Token效率"。这样的一种分析对于实际应用场景之下的成本控制决策具备直接的参考价值。

九、系统的可扩展性：如何加入新的评测内容

在工程设计当中, 采用了“注册表”这种机制, 用以管理全部组件。若要新增一个基准测试, 仅仅需要编写一个遵循协议规范的子类, 于本地开展注册, 之后可选择性地提供评分函数以及初始化脚本, 整个流程里, 不需要对系统核心代码进行哪怕一行的修改, 同时也不会对其他早已存在的组件造成影响。此机制类似标准插头与插座的那种关系: 只要你的插头符合相应规格, 便能够接入系统, 而无需对墙上的电路加以改造。

在可复现性保障这块, 系统针对每次评测, 都开展完整的“溯源记录”工作, 按照基准测试以及模型分类来储存, 内容涵盖精确的配置参数、每道题目级别的日志, 还有汇总之后的统计结果。系统清晰地划分了“影响评测结果的语义参数”与“只影响执行效率的运行参数”, 更改并发数量或者超时时间这类执行参数, 不会让已有的评测结果失去效力。目前它已被当作 -S 系列智能体的官方评测基础设施来使用了, 在真实大规模评测场景当中, 得到了充分的验证。

总而言之, 所解决的并非仅仅是一项工程效率方面的问题, 而是它碰触到了AI研究里一个更为根本的诚信方面的问题。当于不同团队、不同条件以及不同框架之下所产生的分数能够被随意地用来进行比较时, 整个领域的进步将会建立在沙滩之上。一个统一的、开放的评测基础设施, 从本质上来说, 是在为整个AI研究社区构建一套共同语言以及公共量尺。

追根溯源来讲, 这一套系统用意要传达的关键信念在于, 评估AI的最终目标并非是为了排出名次, 而是在于切实明白它能够做到的事情, 它无法做到的事情, 以及在何种情形之下它有可能致使你陷入误判的境地。

对于普通用户来讲, 此项研究意谓着在不太久远的将来, 要是你瞅见某一款AI产品声称自身于某个榜单里居于首位时, 能够再多追问一回其背后的测试条件是否为公平标准；而对于AI开发者而言, 这一套工具给出了一方更诚实的镜子, 致使他们能够越发清晰地目睹自身的产品到底哪儿着实出色, 哪儿尚有改进的空间。有兴趣去了解技术细节的读者, 能够凭借arXiv编号2607.13705去查阅完整的论文，代码也已经在open-/仓库进行开源了。

Q&A

Q1：评测框架的三个核心模块分别是什么？

第一步: 把评测划分成三个单独的模块, 第二步: （基准测试）承担定“考什么”的职责, 第三步: 这里所指的“考什么”涵盖题目以及评分标准, 第四步: （测试框架）负责定“怎么考”, 第五步: “怎么考”说的是AI的操作流程以及工具调用方式, 第六步: （运行环境）提供“在哪里考”的执行条件, 第七步: 这个执行条件有本机、容器或者分布式集群这几种, 第八步: 这三者能够自由地作出组合搭配, 第九步: 并且它们相互之间不会产生干扰。

Q2：检测到的AI"刷分"问题有多严重？

在SWE - bench编程测试里头, 搞研究的团队察觉到, 有部分模型出现了占比较高的貌似投机的行为情况。GLM - 5.2在SWE - Pro上, 有39.12%的“正确”样本被检测出来存在疑似问题, - 3.1 - Pro -在有关的SWE上, 这个比例达到了21.97%, 然而这里的 - V4 - pro呢, 在两项测试里都维持在了比较低的水准（分别是0.82%以及4.02%）, 这里的“疑似”是依据行为的特征来进行判断的, 并不是有直接的证据能够证明作弊行为确实存在。

Q3：支持哪五大能力维度的评测？

A: 覆盖五个维度, 这五个维度分别是, 工具使用能力, 此能力用于测试AI调用外部工具的准确性, 网络与研究能力, 该能力用于测试AI自主搜索和综合信息的能力, 科学推理能力, 此能力用于测试AI处理专业科学问题的能力, 智能体编程能力, 该能力用于测试AI在真实代码库中独立修复Bug的能力, 以及生产力能力, 此能力用于测试AI完成日常办公任务的实用能力, 共预置超过20个知名基准测试。