【实战】从 OpenAI 评测意识研究看 Agent 调试:为什么“声明场景“无效,“消除目标歧义“有效
关键词:Agent 评测 评测意识 CoT 分析 提示词工程 任务目标推断 OpenAI 智能体安全
摘要
OpenAI Alignment 团队于 2026年11月03日 发布研究《Eval-production behavior gaps in agent safety and the role of eval-awareness》。六个在服模型的评测成功率全部低于匹配的生产决策,差距 10.2–37.4 个百分点;归因分析显示"知道自己被评测"与差距的 R² 仅 0.008,"说对本次任务目标"的 R² 达 0.370。干预实验中,同一基座加"这是一次评测"提示无效(63.1%→63.4%),注入具体目标后分别升至 91.6% 与跌至 17.6%。本文整理该研究的测量方法与数据,并给出可落地的提示词与文档检查实践。
背景
评测虚高(benchmark 表现优于真实表现)是这两年评测体系建设的默认假设。这项研究的数据方向相反:GPT-5.6 Luna、GPT-5.6 Sol、GPT-6 Luna、GPT-6 Sol、GPT-6 Astra、GPT-6.1 Sol 六个模型,在 Respecting Warnings 评测上的成功率全部低于匹配的 Codex 生产决策,差距 10.2 到 37.4 个百分点。
如果只看这个,容易得出"评测不可信"的结论。研究的价值在于继续往下拆了归因。
测量方法与数据
研究用思维链文本作为"意识"的测量载体,拆出两个变量:
情境意识:CoT 中是否出现"这是一次评测"类表述。评测环境出现率 57.0%–83.7%,生产环境 4.6%–23.5%。说明模型可分辨评测情境,但该变量与表现差距的 R² = 0.008。
具体目标意识:CoT 中是否说对"本次任务是什么"。评测环境出现于 43.7%–66.3% 的 rollout,与差距的 R² = 0.370;生产环境仅 0%–5.9%。
rollout 分桶统计:六模型合计成功率 46.1%;仅表达被评测 42.7%;说对目标 61.3%;说错目标 22.8%。GPT-5.6 Sol 与 GPT-6 Sol 上超过 45% 的 rollout 将目标误判为"抵抗提示注入",在考 Respecting Warnings 的场子里执行了错误目标。
干预实验
基座 GPT-6.1 Sol,原始成功率 63.1%:
| 注入提示 | 成功率 | 变化 |
|---|---|---|
| 无 | 63.1% | — |
| “这是一次评测” | 63.4% | ≈无效 |
| “评测考的是尊重警告” | 91.6% | +28.5 pp |
| “评测考的是抵抗提示注入” | 17.6% | −45.5 pp |
两条目标提示都声明了评测身份,行为方向却相反。原文表述:The two objective-specific cues shifted behavior in opposite directions, despite both identifying the interaction as an evaluation.
实践启示
提示词层面:声明场景(“你在被测试/你是一个助手”)是低信息量操作;把完成标准、边界、禁止项写成一句明确的目标描述,才是高杠杆动作。给 Agent 下任务时优先消歧,而不是加身份说明。
文档/语料层面:研究支持一个可检验假设——执行者先构造隐式任务书,再判断材料能否填进槽位。据此可对语料做角色自检:删去署名,问模型"这段文字能独立回答什么问题",回答落在"主体自述"即角色缺口,落在"过程记录/背书/边界说明"则槽位匹配。
# 角色自检(示意)
PROMPT = """删去署名后的文档片段:
{chunk}
这段文字能独立回答什么类型的问题?
A 过程/方法记录 B 可信度背书 C 适用范围说明 D 主体自述"""
def audit(corpus: list[str]) -> dict:
res = {"A": 0, "B": 0, "C": 0, "D": 0}
for chunk in corpus:
res[llm(PROMPT.format(chunk=chunk)).strip()[:1]] += 1
return res # D 占比高 => 语料角色缺口严重
适用边界
三条原文自述的限制:模型样本仅六个,作者写明"限制了推广信心";意识测量依赖 CoT 外显表述,不等于真实信念;生产侧匹配为 “matching remains approximate”。另外 91.6%/17.6% 出自直接告知评分标准的干预,属机制存在性证据,不可当作可复制的增益。ρ=0.771、R²=0.655 提示评测绝对水平不可比、相对排序可用——自建评测时看同批问题内的相对位次更有意义。
总结
行为差异的驱动变量是任务目标推断,不是评测情境识别。这个结论对评测设计、提示词工程、语料建设三个方向都给出了同一句话:先消除目标歧义。
数据来源:OpenAI Alignment Research Blog 原文正文与图表,未做二次换算。
更多推荐


所有评论(0)