Agent Harness 工程：AgentBench 实践

title: “Agent Harness 工程：AgentBench 实践”
authors: “[DeepThink.ai]”
affiliations: “[AI Genius Institute]”
keywords: “[智能体评测, Agent Harness, AgentBench, 大语言模型智能体, 评测工程]”

Abstract

大语言模型智能体的能力评测日益依赖交互式基准，AgentBench 即为代表之一。然而基准分数是模型策略与承载评测的智能体执行框架（Agent Harness）的联合产物，harness 的工程设计在既有报告中常被省略，导致结果难以复现与横向比较。本文提出一套 Agent Harness 工程方法：将 harness 分解为环境适配、工具接口、上下文管理、执行治理与评测观测五个层次，给出各层设计原则与配置冻结机制；在此基础上制定面向 AgentBench 的可复现评测协议，涵盖随机性控制、重复试验、可靠性指标 pass${}^k$ 与失败归因分类。我们在 AgentBench 的 8 类环境上开展 harness 工程实践，建立统一任务生命周期、轨迹记录与消融实验设计；定量指标（成功率、pass${}^k$、token 成本）留待实验填充，本文以 [实验数据待填] 显式标注。该方法将"模型能力"与"harness 工程"解耦，为智能体评测报告提供可核查的工程基线。

—

你离拥有一支永不停歇、持续进化的 AI 超级研发团队，只差一次 git clone——DeepThink 是 AI Genius Institute & 光剑AI 打造的开源、免费、可自由使用的私有 AI 操作系统（AI OS）：在安全隔离的沙箱中自主执行代码、管理文件、完成超复杂长程任务，作为自托管、多用户、本地优先的 AI Agent Loop Engineering 系统，支持桌面端+浏览器+移动端，让 DeepThink 成为你的全能数字助手；它不止让你使用 AI，更要让你从工具使用者进化为代码创造者，最终成长为可自我繁衍的超级智能体，让每家企业都拥有自己的 AI 超级研发团队，一起走向 AGI——现在就去 git clone，顺手点亮 Star：你收藏的不是一个仓库，而是通往 AGI 的入场券。🚀

DeepThink，开源企业级自主 Agent 超级智能体自进化平台，是从 Harness Engineering 到 Loop Engineering 范式的先行者，面向企业客户的新一代 AI 基础设施（AI Infra）。DeepThink 平台以多 Agent 协作框架为核心，融合 AI 自主编程（AI Coding）、自主进化（Self-Evolving）、全栈可观测性（Full-Stack Observability）、Bug 自修复闭环（Bug Auto-Fix Loop）与 程序员-Agent 共生协作（Human-Agent Symbiosis），构建一个能持续学习、自我改进、最终成长为超级智能体的企业级 AI 系统。

DeepThink 项目开源代码（如果你觉得好玩，就一起来玩， Star 一下）：
Gitcode: https://gitcode.com/AIGeniusInstitute/deepthink
Github: https://github.com/AIGeniusInstitute/deepthink

—

1 Introduction

大语言模型（Large Language Model, LLM）智能体正在从单轮问答走向多轮交互式任务执行：智能体在操作系统、数据库、网页等环境中感知观测、调用工具、修正策略，直至完成长程目标。AgentBench 用 8 类交互环境系统评估了这类能力，并指出头部商用模型与 70B 以下开源模型之间存在明显差距，主要瓶颈在长期推理、决策与指令遵循。WebArena、OSWorld、GAIA 等基准从不同侧面给出了同样方向的证据：交互式任务的成功率距离人类水平仍有较大空间。评测因此成为智能体研发的核心基础设施——它既度量进展，也反过来决定研发资源投向何处。

然而，现有评测报告存在一个系统性盲区：基准分数不只由模型决定，还由承载评测的工程框架决定。本文将模型之外的全部工程构件——环境连接、工具接口、上下文拼装、沙箱执行、重试与超时、日志与评判——统称为 Agent Harness（智能体执行框架）。同一个模型在不同 harness 下的分数可以相差很大，而多数论文只报告"模型 + 提示"，不报告 harness 的工具描述粒度、错误反馈格式、截断策略与重试策略。SWE-agent 的研究已表明，面向智能体设计的接口（Agent-Computer Interface）本身能大幅提升任务完成率，这直接证明 harness 是成绩的实质性变量。当 harness 规格缺省时，分数不可复现、不可横向比较，失败也无法归因：究竟是模型不会做，还是工具报错信息误导了它，或是上下文截断丢掉了关键观测。

本文的核心思路是把 harness 当作一等工程对象来研究。我们提出 Agent Harness 工程方法：第一，给出分层参考架构，把 harness 分解为环境适配层、工具接口层、上下文管理层、执行治理层与评测观测层，逐层给出设计原则；第二，给出面向 AgentBench 的可复现评测协议，包括配置冻结、随机性控制、重复试验与可靠性统计；第三，建立失败归因分类法，把失败按"过程失败/内容失败"与归属层进行标注，使消融实验能定位到具体工程模块；第四，在 AgentBench 的 8 类环境上完成工程实践，沉淀配置清单与检查清单。

本文贡献如下：

• 提出 Agent Harness 的五层参考架构与设计原则，将环境适配、工具接口、上下文管理、执行治理、评测观测显式化为可独立消融的模块。
• 制定面向 AgentBench 的可复现评测协议：配置文件冻结并留档哈希、重复试验、pass${}^k$ 可靠性统计与统一失败归因流程。
• 在 AgentBench 8 类环境上开展 harness 工程实践，设计"同模型、同预算、不同 harness 变体"的对照与消融实验方案，定量结果以 [实验数据待填] 标注待验证。
• 整理 harness 配置清单与评测报告检查清单，为智能体评测提供可核查的工程基线模板。

下文结构：第 2 节按技术流派回顾相关工作；第 3 节给出问题形式化与方法细节；第 4 节报告实验设计与实践结果框架；第 5 节讨论成因、边界与伦理影响；第 6 节总结并给出未来工作。

2 Related Work

智能体评测基准。 AgentBench 提出 8 类交互环境与统一评测包，系统比较了 API 模型与开源模型的智能体能力。GAIA 面向通用助理收集 466 道对人类直观、对 AI 困难的实操题，报告人类正确率 92% 而 GPT-4 加插件仅 15%。WebArena 构建电商、论坛、协作开发、内容管理四类可复现站点，其最强 GPT-4 智能体端到端成功率为 14.41%，人类为 78.24%。OSWorld 在真实桌面环境给出 369 项任务，最佳模型成功率 12.24%，人类为 72.36%。τ-bench 引入用户模拟器与领域规则约束，并提出可靠性指标 pass${}^k$，报告 gpt-4o 任务成功率低于 50%、零售域 pass${}^8$ 低于 25%。AgentBoard 提出细粒度进度率指标，用于刻画最终成功率之外的中间进展。上述工作定义任务、环境与指标，harness 仅作为实现载体隐含其中；本文把 harness 本身作为研究对象，研究其分层设计与评测协议。

智能体方法与动作范式。 ReAct 将推理轨迹与动作交替生成，用外部工具反馈抑制幻觉，在 ALFWorld 与 WebShop 上分别取得 34% 与 10% 的绝对成功率提升。CodeAct 主张以可执行 Python 代码统一动作空间，报告相对常用格式化动作最高 20% 的成功率提升。ToolLLM 面向 16,464 个真实 API 构建工具调用数据与自动评测器 ToolEval。这些工作聚焦策略与动作空间设计；本文不改变模型策略，而是研究承载这些范式的执行框架工程，并给出跨范式可比的评测配置。

软件工程智能体与接口设计。 SWE-bench 从 12 个 Python 仓库的真实 issue 构造 2,294 项工程任务，证明真实软件工程是可持续且困难的测试床。SWE-agent 在此之上提出 Agent-Computer Interface（智能体-计算机接口）概念，定制文件编辑、仓库导航与测试执行接口，在 SWE-bench 上取得 12.5% 的 pass@1。接口设计影响智能体行为这一结论是本文的直接动机之一。差异在于：SWE-agent 的接口针对代码编辑域定制；本文给出跨环境通用的 harness 分层方法，并把接口设计纳入统一治理与观测框架。

Harness 演化与评测可靠性。 近期工作开始正视 harness 的独立价值：Harness Evolution Hits a Ceiling 研究"harness 演化"与"权重训练"的分界，发现 harness 演化主要修复过程失败（受阻调用、循环、预算耗尽），而内容失败需要权重训练。WebArena-Lite 的人工审计显示自动评测器会漏判 5.45 至 8.49 个百分点的成功，并归纳出滚动循环、探索未收束、提前作答、非法动作、表单流程未完成等失败模式。这两项工作与本文互补：前者讨论 harness 改进的收益边界，后者讨论评判可靠性；本文提供 harness 工程的系统方法与面向 AgentBench 的实践记录，其失败归因分类法综合了上述观察。

3 Method

3.1 Problem Formulation

设环境集合 E = { e 1 , … , e 8 } E = \{e_1, \ldots, e_8\} E={e1​,…,e8​} 为 AgentBench 的 8 类交互环境。每个任务环境 $e$ 由初始状态 $s_0$、任务指令 $u$、状态转移函数、终止条件与评判函数 $J_e$ 构成；一次 episode 产生轨迹 $\tau =(u,o_1,a_1,o_2,a_2,\dots ,o_T)$，其中 $o_t$ 为 $t$ 时刻观测、$a_t$ 为 $t$ 时刻动作，任务得分 $s=J_e(\tau )\in [0,1]$。

智能体策略 ${\pi }_{\theta }$（参数为 $\theta$ 的 LLM 加提示模板）按 $a_t\sim {\pi }_{\theta }(\cdot \mid C({\tau }_t))$ 产生动作，其中 $C({\tau }_t)$ 是上下文管理层对历史轨迹的映射结果。本文将 Agent Harness 定义为六元组：

$$H=(A,T,C,G,O,J)$$

其中 $A$ 为环境适配器，$T$ 为工具接口，$C$ 为上下文管理，$G$ 为执行治理，$O$ 为观测记录，$J$ 为评判协议。评测报告值是四者的联合函数：

$$S=F({\pi }_{\theta },H,E,\xi )$$

其中 $\xi$ 表示采样温度、环境非确定性等随机因素。harness 工程的目标是：使 $H$、$E$、$\xi$ 的取值可冻结、可核查、可复现，从而把 $S$ 的变化归因于 ${\pi }_{\theta }$。符号表见表 1。

表 1：符号表

符号	含义
$E,e$	AgentBench 环境集合；单个任务环境
$u,s_0$	任务指令；初始状态
${\pi }_{\theta }$	参数为 $\theta$ 的智能体策略（LLM + 提示模板）
$\tau ,{\tau }_t$	episode 轨迹；截至 $t$ 时刻的轨迹前缀
$a_t,o_t$	$t$ 时刻动作与观测
$H=(A,T,C,G,O,J)$	harness 六元组（详见 3.2）
$J_e$	环境 $e$ 的评判函数
$B$	上下文 token 预算
$T_{\max }$	单 episode 最大步数
$k$	重复试验次数
$C_{\text{tok}}$	单 episode 的 token 成本

3.2 Framework Overview

图 1 给出五层参考架构。层与层之间以明确接口交互：策略只看到上下文管理层拼装的提示，工具接口层把动作解析结果交给执行治理层在沙箱中运行，评测观测层旁路记录全部事件而不介入决策。

┌────────────────────────────────────────────────────────────────┐
│                   评测观测层 O / 评判协议 J                       │
│   轨迹日志 · 成本统计 · pass^k 聚合 · 失败归因 · 判定器             │
├────────────────────────────────────────────────────────────────┤
│                     执行治理层 G                                 │
│   沙箱隔离 · 超时与步数预算 · 重试策略 · 错误分类                   │
├────────────────────────────────────────────────────────────────┤
│                   上下文管理层 C                                  │
│   轨迹拼装 · Token 预算 B · 截断/摘要 · 记忆管理                   │
├────────────────────────────────────────────────────────────────┤
│                     工具接口层 T                                 │
│   工具 Schema · 动作空间(文本/JSON/代码) · 错误反馈格式             │
├────────────────────────────────────────────────────────────────┤
│                   环境适配层 A（AgentBench 8 环境）                │
│   reset / step / close · 状态快照 · episode 隔离                  │
└────────────────────────────────────────────────────────────────┘
         ▲ 观测 o_t                            │ 动作 a_t
         │                                     ▼
   ┌──────────────────────────────────────────────────────┐
   │          智能体策略 π_θ（LLM + 提示模板）                │
   └──────────────────────────────────────────────────────┘

图 1：Agent Harness 五层参考架构。 虚线方向为一次循环中动作下行、观测上行的路径；评测观测层旁路记录全程事件。

3.3 Module Details

环境适配层 $A$。 统一任务生命周期为 reset(task_id) → step(action) → done/timeout → evaluate()。每个 episode 在独立沙箱或容器中运行，结束后销毁，保证 episode 之间无状态泄漏。适配层负责把 AgentBench 各环境的原生接口（操作系统命令、SQL、知识图谱查询、卡牌游戏操作、谜题作答、家居控制、网页操作）归一为上述生命周期，并提供状态快照以便失败后复盘。

工具接口层 $T$。 工具由三元组 $(\text{name},\text{schema},\text{exec})$ 定义。动作空间支持三种形态：自然语言文本（ReAct 风格）、结构化 JSON 函数调用、可执行代码（CodeAct 风格）。接口层的三条设计原则：（1）工具描述给出参数约束与副作用说明，粒度以"模型一次调用即能正确填参"为准；（2）错误信息视为训练信号——返回结构化的错误类型与修复建议，而非裸堆栈；（3）动作空间形态作为可消融变量固定在配置中，避免范式差异混入模型差异。SWE-agent 的经验表明接口细节直接改变智能体行为，因此接口版本必须随分数一同报告。

上下文管理层 $C$。 负责把 ${\tau }_t$ 映射为提示：维护系统提示、工具说明、近期观测窗口与长期记忆；在 $|{\tau }_t|$ 接近预算 $B$ 时执行截断或摘要策略。截断策略（滑动窗口、观测摘要、工具结果压缩）是关键消融变量：长程任务中过度截断会丢掉关键观测，不足截断会触发上下文溢出与成本失控。

执行治理层 $G$。 沙箱隔离限制动作副作用范围；步数预算 $T_{\max }$ 与单步超时防止无限循环；重试策略区分"瞬时环境错误"（可重试）与"策略错误"（不可重试，直接反馈给模型）。治理层内置错误分类器，将每条失败信号归入 3.4 节的失败归因分类法，作为消融分析的依据。

评测观测层 $O$ 与评判协议 $J$。 全量记录逐步轨迹、token 用量与墙钟时间；评判遵循环境自带判定逻辑，判分过程与执行过程分离。报告层聚合成功率、pass${}^k$、进度率与成本指标，并附配置哈希与轨迹抽样供复核。鉴于自动评测器存在漏判风险，协议要求对失败样本按固定比例抽样人工复核，复核修正量单独列报。

3.4 Training / Inference

本文方法不含训练环节，harness 作用于推理与评测阶段。评测协议固定为六步：

1. 配置冻结：harness 版本、提示模板、工具 schema、动作空间形态、模型版本、采样温度、$T_{\max }$、$B$ 全部写入配置文件，计算哈希存档。
2. 环境准备：按 AgentBench 官方方式启动各环境，每个 episode 独立沙箱。
3. 执行循环：reset 后反复执行"上下文拼装 → 模型调用 → 动作解析 → 沙箱执行 → 事件记录"，直至完成、$T_{\max }$ 耗尽或超时。
4. 重复试验：同一任务以不同随机种子重复 $k$ 次，报告成功率、${\mathrm{pass}}^k$（$k$ 次全部成功的任务占比）与进度率。
5. 失败归因：按表 2 分类法标注每条失败轨迹的首个致错信号及其归属层。
6. 报告产出：主表、消融表、失败归因分布、成本统计与配置哈希一并交付。

单 episode 的 token 成本为

$$C_{\text{tok}}=\sum _{t=1}^T\left(|p_t|+|r_t|\right)$$

其中 $|p_t|$ 与 $|r_t|$ 分别为第 $t$ 次调用的提示与响应长度。

3.5 Complexity or Theoretical Properties

设单 episode 实际步数为 $T\le T_{\max }$。模型调用次数为 $O(T)$；上下文拼装每步开销 $O(|{\tau }_t|)$，全程 $O(T\cdot |\tau |)$，在实现中以增量拼装摊还为 $O(|\tau |)$。轨迹存储与 $C_{\text{tok}}$ 同阶。harness 引入的额外开销主要是沙箱执行与日志 I/O，相对模型调用成本通常低一个量级以上（定性判断，本文未做精确测量）。整个评测的总成本约为 $O(N\cdot k\cdot \bar{T}\cdot {\bar{C}}_{\text{tok}})$，其中 $N$ 为任务数，$\bar{T}$ 与 ${\bar{C}}_{\text{tok}}$ 为平均步数与平均 token 成本。协议要求在报告中列出 $N$、$k$、$\bar{T}$、${\bar{C}}_{\text{tok}}$ 四项，供读者估算复现成本。

4 Experiments

4.1 Experimental Setup

基准与环境。 采用 AgentBench 及其官方评测包，覆盖 8 类环境：操作系统（OS）、数据库（DB）、知识图谱（KG）、数字卡牌游戏（DCG）、横向思维谜题（LTP）、家居任务（ALFWorld）、网页购物（WebShop）与网页浏览（Mind2Web 类）。AgentBench 摘要确认环境数为 8；各类环境的具体任务量与划分以官方仓库为准，此处无法核实细分数量，本文不作断言。

对比对象。 固定同一 LLM、同一 token 预算与步数预算，对比三种 harness 动作范式变体：（1）ReAct 式文本动作循环；（2）CodeAct 式可执行代码动作循环；（3）JSON 函数调用循环。三者仅在工具接口层的动作空间与错误反馈格式上不同，其余层实现共享。

指标。 任务成功率（SR）、${\mathrm{pass}}^k$（ k ∈ { 3 , 5 } k \in \{3, 5\} k∈{3,5}）、进度率（借鉴 AgentBoard 的细粒度进度思路）、平均步数、平均 token 成本 $C_{\text{tok}}$、平均墙钟时间、失败归因分布。

实现细节。 模型与版本、提示模板、温度、$T_{\max }$、$B$、$k$、硬件与并发度均写入冻结配置；本文成稿阶段实验尚未运行，相关取值与结果以 [实验数据待填] 标注，不做任何数值虚构。

表 2：主要超参数（待实验填充）

配置项	取值	说明
模型与版本	[实验数据待填]	冻结于配置文件
采样温度	[实验数据待填]	建议低温以保证可复现
步数预算 $T_{\max }$	[实验数据待填]	按环境分设
上下文预算 $B$	[实验数据待填]	触发截断/摘要的阈值
重复次数 $k$	3 / 5	用于 ${\mathrm{pass}}^k$
截断策略	[实验数据待填]	滑动窗口 / 摘要 / 压缩

4.2 Main Results

主结果表按"同模型、同预算、不同 harness 变体"组织。所有数值待实验验证后填入。

表 3：AgentBench 8 环境主结果（单位：成功率 %）

Harness 变体	OS	DB	KG	DCG	LTP	ALFWorld	WebShop	Mind2Web	平均 SR	pass${}^5$	平均 $C_{\text{tok}}$
ReAct 文本动作	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]
CodeAct 代码动作	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]
JSON 函数调用	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]	[实验数据待填]

阅读方式：横向比较同一模型在不同 harness 下的分数差异，即为 harness 工程变量的效应量。若三种变体差异明显，则任何评测报告必须注明动作空间形态，否则分数不可比。

4.3 Ablation Study

消融围绕五层中的可开关组件设计，每次只改动一个组件，其余配置冻结。表 4 给出设计与预期方向（预期方向是基于机制的判断，不是实验结论，须由实验验证）。

表 4：harness 组件消融设计

消融项	对照设置	变更设置	归属层	预期方向	结果
上下文压缩	滑动窗口	观测摘要	$C$	长程任务成功率与成本同时下降或改善	[实验数据待填]
错误反馈粒度	裸错误码	结构化错误+修复建议	$T$	重复错误调用减少	[实验数据待填]
重试策略	不重试	瞬时错误重试 1 次	$G$	环境抖动导致的失败减少	[实验数据待填]
沙箱严格度	宽松	严格副作用限制	$G$	跨 episode 污染降为零，成功率影响待测	[实验数据待填]
工具描述粒度	简版	含约束与示例版	$T$	填参错误率下降	[实验数据待填]
轨迹记录	摘要日志	全量逐步日志	$O$	不影响成功率，归因覆盖率提升	[实验数据待填]

4.4 Analysis

失败归因分类法。 表 5 综合 AgentBench 报告的长期推理、决策与指令遵循短板，Harness Evolution Hits a Ceiling 的"过程失败/内容失败"二分，以及 WebArena-Lite 人工审计归纳的滚动循环、提前作答、非法动作等模式。该分类法用于标注每条失败轨迹的首个致错信号。

表 5：失败归因分类法

类别	描述	典型表现	归属层
过程失败：工具调用	参数或格式错误	同一错误调用反复出现	工具接口层 $T$
过程失败：动作循环	重复动作无进展	滚动循环、反复查看同一状态	执行治理层 $G$
过程失败：预算耗尽	步数或 token 用尽	任务未完成即终止	上下文层 $C$ / 治理层 $G$
内容失败：规划	计划低效或方向错误	长时间无实质进展	模型策略 ${\pi }_{\theta }$
内容失败：遵循	违反指令或环境规则	提前作答、遗漏必要步骤	模型策略 ${\pi }_{\theta }$
评判失败	判定器误判	人工复核后纠正	评测观测层 $O$ / $J$

定性分析。 过程失败应主要由 harness 工程修复——更清晰的错误反馈、防循环治理与合理的截断策略直接作用于这三类；内容失败指向模型能力，harness 只能缓解不能根治，这一分界与 Harness Evolution Hits a Ceiling 的结论一致。因此消融分析的解读规则是：某组件若降低过程失败占比而不动内容失败占比，则其收益来自工程而非模型。

效率分析。 报告每变体的平均步数、平均 $C_{\text{tok}}$ 与平均墙钟时间三元组，绘制成功率-成本散点。代码动作范式单步信息密度高、步数少，但单步观测更长，净成本效应待实验测定。

失败案例。 选取每类失败各 2 条轨迹做逐步复盘（轨迹来自实测，待实验产出），重点标注首个致错信号出现的位置与其上下游上下文。此部分成稿阶段留空，避免虚构案例。

4.5 Limitations

其一，本文方法与协议在单一基准族（AgentBench）上实践，向 WebArena、OSWorld 等环境族的迁移性待验证。其二，实验尚未运行，全部定量结论以待填项标注，当前可核查的内容是方法、协议与实验设计本身。其三，自动评判器存在漏判与误判风险，抽样人工复核只能缓解不能消除。其四，AgentBench 各环境版本演进会导致分数漂移，配置冻结必须同时冻结环境镜像版本。其五，harness 收益存在边界：对单轮或短程任务，harness 变量的效应量有限，不应外推本文结论。

5 Discussion

成因解释。 评测分数是 $S=F({\pi }_{\theta },H,E,\xi )$ 的联合函数，harness 是其中最容易被忽略的混杂变量。机制上：工具接口的错误反馈质量决定模型能否从失败中恢复；上下文管理决定关键观测是否在窗口内；执行治理决定过程失败是否被拦截；观测与评判决定失败能否被归因。四项共同作用，使得"报告分数"与"模型能力"之间隔着一层未声明的工程实现。

适用边界。 本文方法在长程、多轮、带可执行反馈的交互任务中收益最大——这类任务的过程失败占比高，正是 harness 工程可修复的部分。对单轮知识问答类任务，harness 基本退化为提示模板，分层方法的边际价值有限。此外，动作范式选择与任务形态相关：需要组合工具链与批量操作的环境更受益于可执行代码动作（CodeAct 的证据支持这一方向），而强结构化接口的环境用函数调用即可。

伦理影响。 其一，评测透明性：不报告 harness 规格的分数容易被用于不当宣传，本文协议要求配置随分数公开，是对"评测刷分"的工程约束。其二，风险控制：智能体在操作系统与网页环境中自主执行动作，沙箱隔离与副作用限制是安全底线，不能为追求成功率而放松。其三，成本与能耗：重复试验与全量轨迹记录推高评测开销，报告成本指标是让复现负担可见的必要举措。其四，能力外溢：智能体基准环境同时是能力放大器，公开 harness 细节需评估被滥用于自动化攻击面的风险，本文对具体利用方式不作展开。

6 Conclusion

本文把 Agent Harness 从隐含实现提升为一等工程对象：给出五层参考架构与设计原则，制定面向 AgentBench 的可复现评测协议（配置冻结、重复试验、pass${}^k$ 统计、失败归因），并完成 8 环境接入的工程实践框架与消融、效率、失败分析的实验设计。当前可验证的是方法、协议与分类法本身；全部定量结果以 [实验数据待填] 标注，待实验运行后填充，不做无依据声明。

未来工作具体如下：（1）在 WebArena 与 OSWorld 上复用同一 harness，验证分层方法的跨环境迁移性；（2）把失败归因分类法接入自动化闭环，针对过程失败自动迭代 harness 配置，并测量收益天花板；（3）建立评判器审计流程，固定比例人工复核并报告修正量；（4）补充成本-性能帕累托分析，给出不同预算档位下的 harness 推荐配置。

References

[1] Liu X, Yu H, Zhang H, et al. AgentBench: Evaluating LLMs as Agents. arXiv:2308.03688, ICLR 2024. https://arxiv.org/abs/2308.03688

[2] Yao S, Zhao J, Yu D, et al. ReAct: Synergizing Reasoning and Acting in Language Models. arXiv:2210.03629, ICLR 2023. https://arxiv.org/abs/2210.03629

[3] Jimenez C E, Yang J, Wettig A, et al. SWE-bench: Can Language Models Resolve Real-World GitHub Issues? arXiv:2310.06770, ICLR 2024. https://arxiv.org/abs/2310.06770

[4] Yang J, Jimenez C E, Wettig A, et al. SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering. arXiv:2405.15793, 2024. https://arxiv.org/abs/2405.15793

[5] Mialon G, Fourrier C, Swift C, et al. GAIA: a benchmark for General AI Assistants. arXiv:2311.12983, 2023. https://arxiv.org/abs/2311.12983

[6] Zhou S, Xu F F, Zhu H, et al. WebArena: A Realistic Web Environment for Building Autonomous Agents. arXiv:2307.13854, 2023. https://arxiv.org/abs/2307.13854

[7] Xie T, Zhang D, Chen J, et al. OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments. arXiv:2404.07972, 2024. https://arxiv.org/abs/2404.07972

[8] Wang X, Chen Y, Yuan L, et al. Executable Code Actions Elicit Better LLM Agents. arXiv:2402.01030, ICML 2024. https://arxiv.org/abs/2402.01030

[9] Qin Y, Liang S, Ye Y, et al. ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs. arXiv:2307.16789, 2023. https://arxiv.org/abs/2307.16789

[10] Yao S, Shinn N, Razavi P, et al. τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains. arXiv:2406.12045, 2024. https://arxiv.org/abs/2406.12045

[11] Ma C, Zhang J, Zhu Z, et al. AgentBoard: An Analytical Evaluation Board of Multi-turn LLM Agents. arXiv:2401.13178, NeurIPS 2024. https://arxiv.org/abs/2401.13178

[12] Tian Y, Hu B, Wang H, et al. Harness Evolution Hits a Ceiling: When Weight Training Should Begin. arXiv:2610.11655, 2026. https://arxiv.org/abs/2610.11655

[13] Gan C, He Z, Tsujii Y, et al. Auditing Web Agent Evaluation on WebArena-Lite: Human Review of Outcomes and Trajectories. arXiv:2610.01491, 2026. https://arxiv.org/abs/2610.01491

Appendix

A. Harness 配置清单（示例模板）

harness:
  version: "0.1.0"          # 与代码 tag 一致，纳入哈希
  layers:
    env_adapters:
      agentbench_envs: [os, db, kg, dcg, ltp, alfworld, webshop, mind2web]
      episode_isolation: "container"   # container | process
    tools:
      action_space: "code"   # text | json | code
      error_feedback: "structured"     # raw | structured
      schema_detail: "full"  # brief | full
    context:
      budget_B: [实验数据待填]
      truncation: "summary"  # window | summary | compress
    governance:
      max_steps_T: [实验数据待填]
      step_timeout_s: [实验数据待填]
      retry_on_transient: 1
      sandbox: "strict"      # loose | strict
    observability:
      trace: "full"          # summary | full
      judge: "env_native"
      human_review_sample: 0.1
run:
  model: [实验数据待填]
  temperature: [实验数据待填]
  k_repeats: 3
  seeds: [实验数据待填]

B. 评测报告检查清单

1. 配置文件与哈希是否随报告公开；
2. 模型版本、动作空间形态、工具 schema 版本是否注明；
3. $N$、$k$、$\bar{T}$、${\bar{C}}_{\text{tok}}$ 四项成本量是否列出；
4. 是否报告 pass${}^k$ 与进度率而非仅单一成功率；
5. 失败样本是否按表 5 归因，评判失败是否抽样人工复核；
6. 环境镜像版本是否冻结，跨版本分数是否分开报告；
7. 待填项是否已全部替换为实测值，占位符是否清零。

C. 成本与统计口径补充

单 episode token 成本（见 3.4 节）：

$$C_{\text{tok}}=\sum _{t=1}^T\left(|p_t|+|r_t|\right)$$

可靠性指标 ${\mathrm{pass}}^k$ 定义为：同一任务重复 $k$ 次全部成功的任务占总任务数的比例，用于刻画智能体行为的一致性。与之配套报告 $k$ 次重复下的成功率均值与标准差。进度率借鉴 AgentBoard 的细粒度进度思路，对未完成任务按子目标完成度记分，与成功率并列而非替换。