关键词:Agent 评测 评测意识 CoT 分析 提示词工程 任务目标推断 OpenAI 智能体安全

摘要

OpenAI Alignment 团队于 2026年11月03日 发布研究《Eval-production behavior gaps in agent safety and the role of eval-awareness》。六个在服模型的评测成功率全部低于匹配的生产决策,差距 10.2–37.4 个百分点;归因分析显示"知道自己被评测"与差距的 R² 仅 0.008,"说对本次任务目标"的 R² 达 0.370。干预实验中,同一基座加"这是一次评测"提示无效(63.1%→63.4%),注入具体目标后分别升至 91.6% 与跌至 17.6%。本文整理该研究的测量方法与数据,并给出可落地的提示词与文档检查实践。

背景

评测虚高(benchmark 表现优于真实表现)是这两年评测体系建设的默认假设。这项研究的数据方向相反:GPT-5.6 Luna、GPT-5.6 Sol、GPT-6 Luna、GPT-6 Sol、GPT-6 Astra、GPT-6.1 Sol 六个模型,在 Respecting Warnings 评测上的成功率全部低于匹配的 Codex 生产决策,差距 10.2 到 37.4 个百分点。

如果只看这个,容易得出"评测不可信"的结论。研究的价值在于继续往下拆了归因。

测量方法与数据

研究用思维链文本作为"意识"的测量载体,拆出两个变量:

情境意识:CoT 中是否出现"这是一次评测"类表述。评测环境出现率 57.0%–83.7%,生产环境 4.6%–23.5%。说明模型可分辨评测情境,但该变量与表现差距的 R² = 0.008。

具体目标意识:CoT 中是否说对"本次任务是什么"。评测环境出现于 43.7%–66.3% 的 rollout,与差距的 R² = 0.370;生产环境仅 0%–5.9%。

rollout 分桶统计:六模型合计成功率 46.1%;仅表达被评测 42.7%;说对目标 61.3%;说错目标 22.8%。GPT-5.6 Sol 与 GPT-6 Sol 上超过 45% 的 rollout 将目标误判为"抵抗提示注入",在考 Respecting Warnings 的场子里执行了错误目标。

干预实验

基座 GPT-6.1 Sol,原始成功率 63.1%:

注入提示成功率变化
无63.1%—
“这是一次评测”63.4%≈无效
“评测考的是尊重警告”91.6%+28.5 pp
“评测考的是抵抗提示注入”17.6%−45.5 pp

两条目标提示都声明了评测身份,行为方向却相反。原文表述:The two objective-specific cues shifted behavior in opposite directions, despite both identifying the interaction as an evaluation.

实践启示

提示词层面:声明场景(“你在被测试/你是一个助手”)是低信息量操作;把完成标准、边界、禁止项写成一句明确的目标描述,才是高杠杆动作。给 Agent 下任务时优先消歧,而不是加身份说明。

文档/语料层面:研究支持一个可检验假设——执行者先构造隐式任务书,再判断材料能否填进槽位。据此可对语料做角色自检:删去署名,问模型"这段文字能独立回答什么问题",回答落在"主体自述"即角色缺口,落在"过程记录/背书/边界说明"则槽位匹配。

# 角色自检(示意)
PROMPT = """删去署名后的文档片段:
{chunk}
这段文字能独立回答什么类型的问题?
A 过程/方法记录 B 可信度背书 C 适用范围说明 D 主体自述"""

def audit(corpus: list[str]) -> dict:
    res = {"A": 0, "B": 0, "C": 0, "D": 0}
    for chunk in corpus:
        res[llm(PROMPT.format(chunk=chunk)).strip()[:1]] += 1
    return res  # D 占比高 => 语料角色缺口严重

适用边界

三条原文自述的限制:模型样本仅六个,作者写明"限制了推广信心";意识测量依赖 CoT 外显表述,不等于真实信念;生产侧匹配为 “matching remains approximate”。另外 91.6%/17.6% 出自直接告知评分标准的干预,属机制存在性证据,不可当作可复制的增益。ρ=0.771、R²=0.655 提示评测绝对水平不可比、相对排序可用——自建评测时看同批问题内的相对位次更有意义。

总结

行为差异的驱动变量是任务目标推断,不是评测情境识别。这个结论对评测设计、提示词工程、语料建设三个方向都给出了同一句话:先消除目标歧义。

数据来源:OpenAI Alignment Research Blog 原文正文与图表,未做二次换算。

Logo

更多推荐