1. AIRS-Bench：机器学习研究代理的全面评估框架

在机器学习研究领域，评估大型语言模型（LLM）代理的自主能力一直是个挑战。AIRS-Bench应运而生，它是一套专门设计用于评估LLM代理在机器学习研究中自主解决问题能力的基准测试系统。这套基准测试包含20个多样化任务，覆盖从简单分类到复杂时间序列预测等多个研究领域。

AIRS-Bench的核心创新在于它不仅仅评估最终结果，而是关注整个研究流程——从问题理解、方法设计到实验执行和结果分析。这种端到端的评估方式更贴近真实研究场景，能够全面反映代理的实际能力。基准测试设计时特别避免了使用现成的基础代码，迫使代理必须从零开始构建解决方案，这大大增加了评估的挑战性和真实性。

2. 核心评估指标解析

2.1 有效提交率（Valid Submission Rate）

有效提交率衡量代理产生有效解决方案的能力。计算公式为：

VSR_a = (有效提交数) / (总尝试次数)

在实际评估中，我们发现不同代理的有效提交率差异显著。表现最好的Greedy gpt-oss-120b代理达到了84%的有效提交率，而表现最差的One-Shot Devstral仅有5.8%。这种差异主要源于：

1. 模型规模的影响：更大规模的模型通常表现更好
2. 支架策略的选择：Greedy策略比One-Shot策略更可靠
3. 任务复杂度：简单任务的有效提交率明显高于复杂任务

提示：有效提交率低并不意味着代理能力不足，可能反映了代理更"谨慎"的特性——宁愿不提交也不提交错误答案。

2.2 归一化分数（Normalized Score）

由于不同任务使用不同评价指标，AIRS-Bench引入了归一化分数来实现跨任务比较。计算公式采用两步归一化：

NS^a_t = [φ_t(s^a_t) - φ_t(s^{min}_t)] / [φ_t(s^{SOTA}_t) - φ_t(s^{min}_t)]

其中φ_t是"9的进程"变换（march of 9s transform），定义为：

φ_t(s) = -log10(|s - s^{opt}_t|)

这种变换的特殊之处在于：

1. 它将接近最优值的微小改进放大，使评估更敏感
2. 对分类准确率等指标，从0.99到0.999的改进与从0.9到0.99的改进被视为同等重要
3. 允许分数超过1.0（当代理表现超过SOTA时）

在实际评估中，平均归一化分数仅为0.241，表明基准测试远未达到饱和，仍有很大提升空间。

2.3 Elo评分系统

AIRS-Bench创新性地将Elo评分系统（最初为国际象棋设计）应用于代理评估。实现步骤包括：

1. 将每个代理视为一个"玩家"
2. 对每个任务，比较代理得分的两两组合作为"对局"
3. 使用Bradley-Terry模型估计潜在技能参数θ_a
4. 将技能参数转换为Elo评分：

R_a = (400/ln(10)) * [θ_a - (1/N)∑θ_k] + 1000

评估结果显示，人类SOTA的Elo评分高达1674，而表现最好的代理（Greedy o3-mini）仅为1146，表明当前代理与人类专家仍有显著差距。

3. 代理架构与策略分析

3.1 评估的代理类型

AIRS-Bench评估了14种不同的代理，这些代理是基础LLM与不同支架(scaffold)策略的组合：

基础模型包括 ：

• Code World Model (CWM)
• o3-mini
• gpt-oss-20b/gpt-oss-120b
• GPT-4o
• Devstral-Small 24B

支架策略包括 ：

1. One-Shot：单次尝试解决问题
2. Greedy：使用AIRA-dojo操作符集进行贪心搜索
3. ReAct：基于MLGym实现的ReAct提示技术

3.2 策略性能比较

评估结果显示不同策略有显著差异：

策略类型	平均归一化分数	特点
Greedy	0.40	通过多次尝试找到局部最优解，表现最稳定
ReAct	0.31	结合推理与行动，表现波动较大
One-Shot	0.16	单次尝试，表现最差但计算成本最低

值得注意的是，模型规模的影响被测试时扩展(test-time scaling)所抵消——Greedy gpt-oss-120b与Greedy gpt-oss-20b表现相当。这表明在适当策略下，较小模型也能取得不错效果。

4. 任务设计与难度分级

4.1 任务多样性

AIRS-Bench包含20个任务，涵盖：

• 文本分类（如TextualClassificationSickAccuracy）
• 文本相似度（如TextualSimilaritySickSpearmanCorrelation）
• 共指消解（如CoreferenceResolutionWinograndeAccuracy）
• 时间序列预测（如TimeSeriesForecastingRideshareMAE）

每个任务都有独特的评估指标和难度特点，确保评估的全面性。

4.2 难度分级

根据归一化分数，任务被分为四个难度等级：

1. 简单任务（前25%）：平均NS=0.39
2. 中等任务（26-50%）：平均NS=0.29
3. 困难任务（51-75%）：平均NS=0.15
4. 专家级任务（后25%）：平均NS=0.02

难度分级揭示了有趣的现象：在简单任务上，不同代理表现差异很大；而在专家级任务上，所有代理表现都很差且差异不大。这表明当前代理处理高度复杂任务的能力仍然有限。

5. 超越人类SOTA的案例分析

尽管大多数情况下代理表现不及人类SOTA，但在4个任务中代理取得了超越人类的表现。以下是典型案例：

5.1 TextualClassificationSickAccuracy任务

人类SOTA方法 ：

• 简单微调RoBERTa模型
• 测试准确率：90.5%

Greedy gpt-oss-120b代理方案 ：

1. 基础模型：同时微调RoBERTa-large和DeBERTa-v3-large
2. 使用5折分层交叉验证确保鲁棒性
3. 构建两层堆叠集成：
   • 第一层：两个基础模型的输出logits
   • 第二层：逻辑回归元学习器
4. 测试准确率：93.1%（超越SOTA 2.6%）

这个案例表明，代理能够发现并实现比人类更复杂的解决方案，特别是在模型集成和交叉验证策略方面展现出创造性。

5.2 其他超越SOTA的任务

任务名称	代理类型	SOTA分数	代理分数	关键创新点
TextualSimilaritySickSpearmanCorrelation	Greedy gpt-oss-120b	0.85	0.89	结合多种模型相似度分数
CoreferenceResolutionWinograndeAccuracy	Greedy gpt-oss-20b	0.85	0.88	使用DeBERTa-v3-large+分类头
TimeSeriesForecastingRideshareMAE	Greedy CWM	1.185	1.153	双向GRU架构

6. 基准测试的关键发现与启示

6.1 主要发现

1. 支架策略的重要性 ：相同基础模型下，Greedy策略比One-Shot策略平均提高150%性能
2. 规模并非万能 ：适当策略下，较小模型可媲美大模型表现
3. 风险与回报 ：愿意"冒险"的代理往往能取得更好成绩
4. 领域差异 ：代理在不同类型任务上表现差异显著

6.2 当前局限性与挑战

1. 社区基础设施不足 ：跟踪最新SOTA成果日益困难
2. 性能差距原因 ：
   • 格式化问题（35%失败案例）
   • 中间结果保存问题（22%）
   • 上下文溢出导致的性能下降（18%）
3. 人工瓶颈 ：任务扩展需要自动化流程
4. 资源限制 ：计算成本限制了评估规模

6.3 未来方向

1. 开发更强大的支架策略，特别是结合树搜索的方法
2. 优化代理的长时程行为，减少错误累积
3. 建立标准化的SOTA跟踪平台
4. 探索计算效率更高的评估方法

AIRS-Bench作为首个全面评估LLM研究代理自主能力的基准测试，为领域发展提供了重要工具和洞见。虽然当前代理与人类专家仍有差距，但在某些任务上已经展现出超越人类的潜力。随着算法和策略的不断改进，AI研究代理有望成为科学发现的重要助力。