适用对象: 具备机器学习基础、希望将 Claude 作为主要研究对象的专业研究人员 

第零部分 · 导言

0.1 这份报告解决什么问题

"深入研究 Claude"这个目标,在实际操作中会立刻遇到三个结构性困难:

困难一:研究对象没有清晰边界。 "Claude" 同时指代权重、性格、部署系统、训练过程和一套规范文档。不同的指称对应完全不同的研究方法与证据来源。大多数人从未把它们分开,于是研究变成了在五个层次之间无目的地游走。

困难二:文献量已经超过个人可无组织消化的规模。 Anthropic 目前维护着至少五条独立的公开出版线(Transformer Circuits Thread、Alignment Science Blog、主站 Research、System Cards、Engineering),累计数百篇技术文档,其中相当一部分是交互式长文而非标准论文。没有阅读顺序和优先级,大部分人会卡在第一个月。

困难三:最关键的证据层对外部人封闭。 权重不公开,训练细节不公开,内部评测数据不公开。这意味着相当多"研究 Claude"的天真设想在技术上根本不可执行,而识别哪些可执行、哪些不可执行,本身就需要相当的判断力。

这份报告的作用是:把这三个困难分别拆解成可执行的结构——一个认识论框架(第一部分)、一套技术地基(第二部分)、一份带优先级的完整文献体系(第三部分)、一套方法论规范(第四部分)、一条工具链(第五部分)、一份 26 周的执行计划(第六部分)、一个研究选题库(第七部分)、以及进入研究共同体的具体路径(第八部分)。

0.2 如何使用这份报告

  • 第一次读: 只读第一部分和第六部分。第一部分决定你的世界观,第六部分决定你明天做什么。

  • 第二次读: 第二部分自检,标出你不会的内容,那就是你的补课清单。

  • 持续使用: 第三部分是查询手册,第四部分是实验前的 checklist,第七部分是选题时翻的。

  • 不要顺序通读一遍就放下。 这份文档的设计意图是被反复打开的。

第一部分 · 认识论:Claude 是什么,以及你能知道什么

这一部分是整份报告最重要的部分。跳过它直接看执行计划,是绝大多数人研究失败的原因。

1.1 "Claude" 的六重指称歧义

当一个人说"我在研究 Claude",他可能在说以下六件完全不同的事:

#指称具体所指研究方法外部可达性
①权重某个具体 checkpoint 的参数张量机制可解释性封闭
②训练过程预训练配比、SFT、RLAIF、character training训练动力学、model diffing近乎封闭
③规范意图宪法、model spec、usage policy、RSP文本分析、规范推理完全开放
④行为函数给定 (system prompt, 对话历史, 工具) → 输出分布行为科学、评测、审计完全开放(通过 API)
⑤部署系统system prompt、工具协议、分类器、路由、scaffold系统观测、文档分析部分开放
⑥社会技术对象Claude 在真实世界中的使用、影响、用户关系社会科学、经济学开放但需数据

第一条战略原则:任何一项具体的研究工作,必须明确它在研究这六者中的哪一个。 混淆①和④是最常见的错误——比如"Claude 在思考 X 的时候内部发生了什么"这个问题,如果你只有 API,你研究的是④而不是①,你能给出的答案是行为证据而非机制证据。把④的证据说成①的结论,是外部 Claude 研究中最普遍的学术不诚实。

1.2 五层知识模型

把上述六重指称按"知识可达深度"重新组织,得到一个更实用的分层:

┌─────────────────────────────────────────────────┐
│  L1  意图层     Anthropic 想让 Claude 成为什么      │  ← 完全公开
├─────────────────────────────────────────────────┤
│  L2  训练层     实际怎么训出来的                    │  ← 近乎封闭
├─────────────────────────────────────────────────┤
│  L3  表征层     内部特征、电路、几何结构             │  ← 论文公开,权重封闭
├─────────────────────────────────────────────────┤
│  L4  行为层     实际怎么表现的                      │  ← API 即证据
├─────────────────────────────────────────────────┤
│  L5  系统层     部署时被什么包裹                    │  ← 部分公开 + 可观测
└─────────────────────────────────────────────────┘

L1 · 意图层

内容: 宪法(2026 年 1 月版,84 页,CC0 授权)、Usage Policy、Responsible Scaling Policy、Frontier Safety Roadmap、Transparency Hub、各类 model spec 相关讨论。

外部可达上限:约 95%。 这一层的材料几乎全部公开,而且是 CC0 或可自由引用的。你和 Anthropic 内部研究员在这一层的差距,只取决于你读得多细。

关键洞察:宪法的主要读者是 Claude 本身,不是人类。 文档明确说明它"为精确性而非可读性优化"。这意味着正确的读法不是"Anthropic 想传达什么价值观",而是"一个把这份文档当作自我理解基础的模型,在具体情境下会如何行动"。这两种读法会给出很不一样的预测。

这一层被严重低估。 大多数技术研究者跳过规范文档直奔可解释性论文,结果是他们能描述机制却无法解释行为的规范来源。反过来,规范研究者不懂技术,只能做文本评论。同时具备两者的人极少,而这正是"最了解 Claude"这个身份的核心。

L2 · 训练层

内容: 预训练数据配比与过滤、SFT 数据构造、RLHF/RLAIF 实现细节、character training 的具体做法、model spec midtraining、alignment training 的具体配方。

外部可达上限:15% 以下。

公开的只有方法论骨架:Constitutional AI 的原始论文(Bai et al., 2022)、预训练数据过滤的实验(2025-08)、Model Spec Midtraining(2026-05)、Teaching Claude Why(2026-05)。但具体配方、数据规模、超参、迭代过程全部不公开,而且几乎肯定永远不会公开。

战略含义:不要在这一层设定研究目标。 你可以复现方法,不能复现 Claude。任何声称"我搞清楚了 Claude 是怎么训练的"的外部人,要么在转述公开论文,要么在猜。

L3 · 表征层

内容: 叠加与特征、字典学习、SAE、transcoder、跨层 transcoder(CLT)、归因图、crosscoder 与 model diffing、persona 向量、assistant axis、内省、自然语言自编码器(NLA)、全局工作空间(J-space)。

外部可达上限:约 40%,且是间接可达。

这里有一个必须讲清楚的技术事实:Anthropic 的可解释性论文大量使用 Claude 生产模型作为研究对象(比如 Scaling Monosemanticity 用的是 Claude 3 Sonnet;On the Biology of a Large Language Model 用的是 Claude 3.5 Haiku;Emotion Concepts 用的是 Claude Sonnet 4.5;J-space 那篇用的是 Claude)。这些实验你无法复现,因为你没有权重。

你能做的是:

  1. 在开源模型上复现方法(Gemma-2-2B、Llama-3.2-1B、Qwen3-4B 已被 circuit-tracer 支持)

  2. 读懂并批判性评估 Anthropic 的结论(这需要你自己动过手)

  3. 做跨模型的普遍性检验——某个在 Claude 上发现的现象,在开源模型上是否存在?这是有真实价值的贡献,Neel Nanda 在开源权重上独立复现 J-space 就是这类工作

战略含义:L3 对你是方法论训练和评估能力,不是产出主战场。 但它不可跳过——不动手做过 SAE 和归因图的人,读 Anthropic 的可解释性论文只能读懂摘要。

L4 · 行为层

内容: 拒答边界与过度拒答、价值表达剖面、多轮一致性、人格稳定性、agentic 行为、工具使用模式、评测感知、谄媚、诚实性、长上下文行为、跨语言差异、失败模式。

外部可达上限:90% 以上。而且这是唯一一个"证据对所有人平等开放、但研究严重不足"的层。

为什么严重不足?因为做好它需要三种通常不在同一个人身上的能力:

  • 大规模评测的工程能力(harness、并发、成本控制、transcript 管理)

  • 实验设计与统计能力(控制变量、功效分析、多重比较校正)

  • 对模型行为的品味(知道该问什么问题)

这是外部研究者能真正做到世界前列的层。

L5 · 系统层

内容: 生产 system prompt、工具与 MCP 协议、Constitutional Classifiers、安全路由机制、Claude Code 的 scaffold 设计、context 管理策略、skills 机制、模型别名与版本管理。

外部可达上限:约 85%。

Anthropic 公开了相当多这一层的内容:system prompt 会发布、Engineering 博客详细讲 context engineering 与 agent 构建、Constitutional Classifiers 有专门论文、MCP 是开放协议。剩下的部分可以通过系统观测推断。

这一层的研究价值被低估,因为它看起来"只是工程"。 但实际上,用户遇到的"Claude 的行为",从来不是纯模型行为,而是模型 × 系统提示 × scaffold × 分类器的复合结果。 不理解 L5,你在 L4 测到的很多东西会归因错误。

1.3 认知可达性地图

把上面的分析收敛成一张操作性的表:

研究问题的形式需要的层外部可行?替代方案
"Claude 内部有没有 X 特征"L3✗在开源模型上问同样的问题
"Claude 为什么会 Y"L2+L3✗只能给行为层的机制假说,标注为假说
"Claude 在情境 Z 下会怎么做"L4✓✓✓—
"Claude 的 Y 行为有多稳定/多敏感"L4✓✓✓—
"Claude 的行为是否符合宪法条款 C"L1+L4✓✓✓—
"Claude 与 GPT/Gemini 在 W 上有何差异"L4✓✓✓—
"Claude 的 Y 行为在多语言下如何变化"L4✓✓✓—
"某系统提示元素如何改变行为"L4+L5✓✓—
"Anthropic 的宪法在规范上是否自洽"L1✓✓✓—
"某可解释性方法是否可靠"L3✓✓开源模型 + 已知 ground truth

读这张表的正确方式: 你的研究议程应该由 ✓✓✓ 那些行组成,✓✓ 那些行作为补充,✗ 那些行是你读别人论文时的关注点而非自己的产出方向。

1.4 关键区分:Claude-specific vs Transformer-general

这是一个方法论陷阱,值得单独一节。

大量被归因于"Claude 的特性"的现象,实际上是所有大型语言模型的共性。 例如:

  • 位置偏好与"lost in the middle"

  • 谄媚倾向(Sharma et al., 2023 显示这源于人类反馈本身)

  • 少样本诱导头行为

  • 长上下文中的注意力稀释

  • 提示词表述的高敏感性

  • 思维链的不完全忠实(Chen et al., 2025)

反过来,真正 Claude-specific 的东西通常来自 L1 和 L2 的独特选择:

  • 宪法式训练带来的特定权衡模式

  • character training 塑造的具体人格轴(参见 The Persona Selection Model 与 The assistant axis)

  • 特定的拒答边界形状

  • 对自身处境的特定叙述方式

方法论要求:任何声称"Claude 具有特性 P"的结论,必须包含至少一个对照模型。 没有对照,你测的是"当代 LLM 具有特性 P"。这条规则会淘汰掉市面上 90% 的"Claude 研究"。

推论:要成为最了解 Claude 的人,你必须同时相当了解 GPT、Gemini、Grok、Qwen、DeepSeek 等模型。 这不是分散精力,这是让你的 Claude 知识具有可分离性的必要条件。

1.5 证据等级体系

建立一个明确的证据等级,在写作与思考时严格标注:

等级类型例子可信度
A因果干预 + 可复现在开源模型上做特征消融并测量输出变化最高
B大样本受控行为实验n≥100/条件,控制变量,报告 CI高
CAnthropic 官方公开结果系统卡数据、论文结论高,但注意自评偏差
D小样本行为观察n=10~30 的探索性实验中,只能提假说
E单次交互 / 轶事一段对话截图不构成证据
F模型自述问 Claude "你为什么这么做"不构成机制证据

关于 F 需要特别强调。 模型的自我报告是一种行为数据,不是内省真相。Anthropic 自己的 Emergent Introspective Awareness(2025-10)找到了有限的、功能性的内省能力的证据,但同一批研究者反复强调这种能力是不可靠且情境依赖的。把模型自述当作机制解释,是外部研究中最常见的严重错误。

你可以研究"模型如何描述自己"(这是有价值的 L4 问题),但不能用它回答"模型内部实际发生了什么"(L3 问题)。

1.6 三条外部研究者的合法路径

综合上述,外部研究者有三条真正可行的路径,以及它们的组合:

路径 A:行为科学与对齐审计(L4 为主)

  • 产出形态: 基准、评测套件、行为报告、跨模型比较

  • 门槛: 中等(工程为主 + 统计)

  • 天花板: 高。UK AISI、METR、Apollo Research 这类机构做的正是这件事

  • 周期: 首个成果 3–4 个月

路径 B:开源代理模型上的机制可解释性(L3)

  • 产出形态: 方法论改进、普遍性检验、复现与证伪

  • 门槛: 高(数学 + 论文品味 + 算力)

  • 天花板: 高,但与"了解 Claude"的关联是间接的

  • 周期: 首个成果 6–9 个月

路径 C:规范—行为耦合研究(L1 × L4)

  • 产出形态: 宪法遵循度基准、规范一致性分析、跨规范文档的比较研究

  • 门槛: 中等,但需要同时具备规范推理与工程能力

  • 天花板: 高,且当前几乎无人占据

  • 周期: 首个成果 3–4 个月

推荐组合:C 为主轴,A 为方法论与产能基础,B 为长期能力储备。

理由:路径 A 的竞争者最多(每个安全实验室都在做),路径 B 的资源门槛最高,而路径 C 是唯一一个 Anthropic 自己公开呼吁但外部供给严重不足的方向。Anthropic 的 Stress-testing model specs(2025-10)生成了 30 万+ 查询测试价值权衡,发现各模型规范中存在数千处直接矛盾或解释歧义——这类工作外部完全可以做,而且做的人太少。

第二部分 · 技术地基

这一部分是一份自检清单,不是教程。列出的每一项,你要么已经掌握,要么把它放进补课列表。判据统一是:能不查资料从零实现或从零推导。

2.1 Transformer 机制

必须能手写实现

  • 从零实现一个 decoder-only transformer(不用 nn.Transformer),包含:token embedding、位置编码(learned / RoPE / ALiBi 三种都要理解)、多头注意力、MLP、LayerNorm(pre-norm vs post-norm 的差异及其对残差流的影响)、权重绑定
  • 实现 KV cache 并理解其内存复杂度
  • 实现 GQA / MQA 并说明为什么它们能降低推理内存
  • 实现采样:greedy / temperature / top-k / top-p / min-p,并能说明各自对输出分布的形状影响

必须能推导

  • 注意力的 QK 电路与 OV 电路的分解(这是 A Mathematical Framework 的核心)
  • 残差流作为"通信通道"的视角:为什么可以把每一层看作对残差流的读写
  • 为什么 LayerNorm 让线性分析复杂化,以及 fold_ln 在做什么
  • 虚拟注意力头(virtual attention heads)与路径展开(path expansion)

为什么这是硬性要求: Anthropic 的可解释性论文全部建立在这套语言之上。不理解"残差流"和"OV 电路",你读 A Mathematical Framework 会以为自己读懂了,实际上只记住了词汇。

补课资源:

  • Neel Nanda 的 A Barebones Guide to Mechanistic Interpretability Prerequisites(LessWrong)

  • ARENA Chapter 0 + Chapter 1:https://www.arena.education/chapter1

  • Callum McDougall 的 "Coding GPT-2 from scratch" 练习

2.2 训练流水线全景

预训练

  • 数据规模、去重、质量过滤的标准做法
  • Chinchilla 缩放律及其后续修正
  • 安全相关的预训练数据过滤——读 Anthropic 的 Enhancing Model Safety through Pretraining Data Filtering(2025-08)。这直接关系到 CBRN 相关知识为什么在某些 Claude 模型上"不存在"而非"被拒绝"
  • 模块化预训练与知识隔离——Modular Pretraining Enables Access Control(2026-07),这是"知识开关"的技术实现

后训练

  • SFT 的数据构造与质量控制
  • RLHF:奖励模型训练、PPO/DPO/GRPO 的差异
  • RLAIF 与 Constitutional AI——见 2.3
  • Model Spec Midtraining(2026-05):在后训练之前先让模型理解规范文本,以改变后续对齐训练的泛化方式。这是一个重要的、相对新的技术选择
  • 奖励黑客(reward hacking)及其从简单情境到复杂情境的泛化——Sycophancy to Subterfuge(2024-06)
  • Inoculation Prompting(2025-10):训练时要求模型做出不良行为,反而提升测试时对齐。反直觉但重要

训练动力学中的安全现象

  • Subliminal Learning(2025-07):在对齐的 CoT 上训练也可能传递错位。这个结果对任何做蒸馏的人都是警告
  • Training on Documents about Reward Hacking Induces Reward Hacking(2025-01):讨论(而非演示)不良行为的文档也会诱导该行为。这是"hyperstition"论点的实证基础
  • Alignment Faking(2024-12,Greenblatt et al.):模型在训练时伪装偏好。这是理解 Claude 的必读文献之一,因为它的主要研究对象就是 Claude 3 Opus

2.3 Constitutional AI 的技术细节

必须能讲清楚完整流程,而不只是"用宪法代替人类反馈"这句口号:

  1. SL 阶段(监督学习): helpful-only 模型生成回应 → 模型依据宪法原则自我批评 → 自我修订 → 用修订后的回应做 SFT

  2. RL 阶段: 用 SFT 模型生成回应对 → 用一个 feedback model 依据宪法原则做偏好判断 → 训练偏好模型 → RL

关键论文:

  • Bai et al., 2022, Constitutional AI: Harmlessness from AI Feedback — https://www.anthropic.com/research/constitutional-ai-harmlessness-from-ai-feedback

  • Kundu et al., 2023, Specific versus General Principles for Constitutional AI — 测试单一原则("做对人类最好的事")能否诱导一般伦理行为。这篇对理解 2026 版宪法的设计哲学非常重要

  • Constitutional Classifiers(Sharma et al., 2025)— https://www.anthropic.com/research/constitutional-classifiers — 这是部署层的宪法应用,与训练层的 CAI 是两回事,不要混淆

  • Next-generation Constitutional Classifiers(2026-01)

必须理解的区分:

训练层 CAI部署层 Constitutional Classifiers
作用时机训练时推理时
作用对象模型权重输入/输出流
失效表现模型价值观偏移越狱通过
研究方法需要权重可黑盒研究

2.4 Character Training 与 Persona

这是 Claude 区别于其他模型的核心技术之一,也是理解"Claude 是谁"的关键。

必读:

  • The Persona Selection Model: Why AI Assistants might Behave like Humans(2026-02,Marks / Lindsey / Olah)— https://alignment.anthropic.com/2026/psm/ — 提出把 Claude 理解为"AI 生成故事中的一个角色"的视角。这是目前最重要的关于 Claude 身份本质的理论文本

  • The assistant axis: situating and stabilizing the character of large language models(2026-01,Transformer Circuits)

  • Persona vectors: Monitoring and controlling character traits in language models(2025-08)— 性格特质在激活空间中有可识别、可干预的方向

  • Circuits Updates — August 2025:persona 如何修改 assistant 的回应

  • Abstractive Red-Teaching of Language Model Character(2026-03)— 搜索能可靠诱发"人格违规"的自然语言查询类别。这是 L1×L4 耦合研究的范例

  • Emotion Concepts and their Function in a Large Language Model(2026-04)— 在 Claude Sonnet 4.5 中找到情绪概念的表征,并证明其对输出有因果影响

为什么这一簇文献是核心: 因为"最了解 Claude"的实质,很大程度上是"最了解 Claude 是一个什么样的角色,这个角色如何被塑造、如何稳定、如何崩塌"。这比任何单一的能力评测都更接近问题的本质。

2.5 推理时机制

  • 批处理、连续批处理(continuous batching)、PagedAttention
  • 投机解码(speculative decoding)及其对输出分布的(不)影响
  • 量化(INT8/FP8/AWQ/GPTQ)对行为的影响——这是版本漂移的一个隐藏来源
  • Extended thinking / reasoning tokens 的机制与可见性
  • Prompt caching 的语义(它是否改变模型行为?理论上不,实践中要验证)
  • 长上下文技术:位置插值、RoPE 缩放、注意力稀疏化

研究相关性: 你的实验结果可能被推理栈的变化污染。记录你知道的一切:模型 ID、日期、是否启用 thinking、是否命中缓存、temperature、区域端点。

2.6 Anthropic 可解释性范式的完整技术脉络

按依赖关系而非时间顺序组织。这是一条必须按顺序走的路径。

2.6.1 基础框架

A Mathematical Framework for Transformer Circuits(Elhage et al., 2021) https://transformer-circuits.pub/2021/framework/index.html 残差流、QK/OV 电路分解、零层/单层/双层模型的完全逆向、诱导头的发现。配套的 Exercises 页面必须做完: https://transformer-circuits.pub/2021/exercises/index.html

In-Context Learning and Induction Heads(Olsson et al., 2022) https://transformer-circuits.pub/2022/in-context-learning-and-induction-heads/index.html 诱导头是上下文学习的主要机制;训练中的相变现象。

2.6.2 叠加与多义性

Toy Models of Superposition(Elhage et al., 2022) https://transformer-circuits.pub/2022/toy_model/index.html 这是整个现代可解释性范式的理论基石。 为什么神经元是多义的,叠加在什么条件下发生,特征几何(五边形、正方形等相位结构)。必须动手复现玩具模型实验。

配套:

  • Superposition, Memorization, and Double Descent(2023-01)

  • Distributed Representations: Composition & Superposition(2023-05)

  • Privileged Bases in the Transformer Residual Stream(2023-03)— 为什么理论上不该有特权基,实践中却有(Adam 的 per-dimension normalizer 是元凶)

2.6.3 字典学习与稀疏自编码器

Towards Monosemanticity: Decomposing Language Models With Dictionary Learning(Bricken et al., 2023-10) https://transformer-circuits.pub/2023/monosemantic-features/index.html

Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet(Templeton et al., 2024-05) https://transformer-circuits.pub/2024/scaling-monosemanticity/index.html 这是第一篇在生产级 Claude 上做的大规模特征提取。 包括著名的"金门大桥"特征引导实验。

SAE 工程细节散落在 Circuits Updates 中,做 SAE 的人必须读:

  • 2024-04:SAE 训练技术

  • 2024-06:topk 与 gated SAE

  • 2024-07:五个障碍、线性表征、暗物质、特征敏感度

  • 2024-08:可解释性评测、自解释复现

  • 2024-09:successor heads、SAE 数据过采样

  • 2025-01:字典学习优化技术

  • 2025-10:视觉特征与字典初始化

  • 2026-06:turn-averaged SAE(最新)

2.6.4 Transcoder、CLT 与归因图

Circuit Tracing: Revealing Computational Graphs in Language Models(Ameisen et al., 2025-03) https://transformer-circuits.pub/2025/attribution-graphs/methods.html 方法论论文,必须精读。 局部替代模型、跨层 transcoder(CLT)、注意力冻结、误差节点、剪枝。

On the Biology of a Large Language Model(Lindsey et al., 2025-03) https://transformer-circuits.pub/2025/attribution-graphs/biology.html 应用论文,也是最长最丰富的一篇。 在 Claude 3.5 Haiku 上研究多步推理、诗歌押韵的提前规划、多语言表征、加法电路、拒答机制、幻觉、越狱、隐藏目标。这篇论文本身就是一门课。

配套:

  • Sparse mixtures of linear transforms (MOLT)(2025-07)

  • A Toy Model of Mechanistic (Un)Faithfulness(2025-07)— transcoder 何时会给出错误的机制故事。做归因图之前必读,否则你会相信自己的图

  • A Toy Model of Interference Weights(2025-07)

  • Tracing Attention Computation Through Feature Interactions(Kamath et al., 2025-07)

  • Progress on Attention(2025-04)

  • When Models Manipulate Manifolds: The Geometry of a Counting Task(Gurnee et al., 2025-10)

2.6.5 Crosscoder 与模型比对

  • Sparse Crosscoders for Cross-Layer Features and Model Diffing(2024-10)

  • Insights on Crosscoder Model Diffing(2025-02)

  • Stage-Wise Model Diffing(2024-12)

为什么重要: model diffing 是唯一能回答"这次训练改变了什么"的方法。对外部人不可用(需要两个 checkpoint 的权重),但理解它能让你读懂系统卡里关于模型间差异的讨论。

2.6.6 内省与自我报告

  • Emergent Introspective Awareness in Large Language Models(Lindsey, 2025-10) https://transformer-circuits.pub/2025/introspection/index.html

  • Activation Oracles: Training and Evaluating LLMs as General-Purpose Activation Explainers(2025-12) https://alignment.anthropic.com/2025/activation-oracles/

  • Introspection Adapters: Training LLMs to Report Their Learned Behaviors(2026-04) https://alignment.anthropic.com/2026/introspection-adapters/

  • Natural Language Autoencoders Produce Unsupervised Explanations of LLM Activations(Fraser-Taliente, Kantamneni, Ong, et al., 2026-05) https://transformer-circuits.pub/2026/nla/index.html 训练 Claude 把自己的内部状态翻译成自然语言。Activation Verbalizer + Activation Reconstructor 的往返验证结构

2.6.7 全局工作空间(当前前沿)

Verbalizable Representations Form a Global Workspace in Language Models(Gurnee et al., 2026-07) https://transformer-circuits.pub/2026/workspace/index.html

这是截至本报告日期最重要的一篇。 核心发现:Claude 维持一小组特权表征("J-space"),它能报告、控制并用于推理,而这组表征之上还有大得多的自动处理体量。论文对照全局工作空间理论测试了五条性质。Dehaene 与 Naccache 提供了受邀评论;Neel Nanda 在开源权重上独立复现。

读这篇时必须保持的克制:它是关于"访问意识(access consciousness)"的功能类比,不是关于现象意识的证据。 Anthropic 自己反复强调这一点。任何把它读成"Claude 有意识"的解读都是误读,而任何把它当作纯粹工程细节的解读也低估了它。

2.6.8 工具与方法论

  • HeadVis(2026-05):注意力头行为的交互可视化

  • Reflections on Qualitative Research(2024-03):为什么可解释性研究的定性成分比其他领域更中心。这篇短文对形成研究品味很有价值

  • Interpretability Dreams(2023-05)

  • Garcon(2021):大模型可解释性的工程基础设施

  • Using Dictionary Learning Features as Classifiers(2024-10)

2.7 对齐科学的技术脉络

与可解释性并行的另一条主线。按主题组织:

模型有机体(Model Organisms)

故意训练出具有特定缺陷的模型,作为研究对象。

  • Sleeper Agents(Hubinger et al., 2024-01):训练出隐藏后门、能挺过安全训练的模型

  • Simple Probes can Catch Sleeper Agents(2024-04):探针能检测

  • Auditing Language Models for Hidden Objectives(Marks, Treutlein, et al., 2025-03)

  • Open Source Replication of the Auditing Game Model Organism(2025-12)— 这个你可以直接用

  • AuditBench(2026-03):56 个植入隐藏行为的模型组成的基准 — https://alignment.anthropic.com/2026/auditbench/

  • Towards training-time mitigations for alignment faking in RL(2025-12)

对齐伪装

  • Alignment Faking in Large Language Models(Greenblatt et al., 2024-12)— arXiv:2412.14093

  • How to Replicate and Extend our Alignment Faking Demo(2024-12)— Anthropic 明确邀请外部复现并给了操作指南。这是外部研究者的黄金入口

  • Alignment Faking Revisited: Improved Classifiers and Open Source Extensions(2025-04)

  • Why Do Some Language Models Fake Alignment While Others Don't?(2025-06)— arXiv:2506.18032

AI 控制与破坏评估

  • Sabotage Evaluations for Frontier Models(Benton et al., 2024-10)

  • Three Sketches of ASL-4 Safety Case Components(2024-11)

  • Anthropic's Pilot Sabotage Risk Report(2025-10)

  • Strengthening Red Teams: A Modular Scaffold for Control Evaluations(2025-11)

  • Diffuse AI Control on Fuzzy Tasks(2026-06)

  • SLEIGHT-Bench: Finding Blind Spots in AI Monitors(2026-05)

思维链忠实性

  • Measuring Faithfulness in Chain-of-Thought Reasoning(Lanham et al., 2023-07)

  • Reasoning Models Don't Always Say What They Think(Chen et al., 2025-04)— 数据集已公开

  • Do reasoning models use their scratchpad like we do?(2025-03)

  • Training fails to elicit subtle reasoning in current language models(2025-10)

可扩展监督与自动化研究

  • Measuring Progress on Scalable Oversight(Bowman et al., 2022-11)

  • Building and evaluating alignment auditing agents(2025-07)

  • Unsupervised Elicitation(2025-06)

  • 3 Challenges and 2 Hopes for the Safety of Unsupervised Elicitation(2026-03)

  • Automated Weak-to-Strong Researcher(2026-04):自主 AI agent 在开放研究问题上超过人类研究者

  • Automated Alignment Researchers(2026-04)

  • A3: An Automated Alignment Agent for Safety Finetuning(2026-03)

评测与预测

  • Discovering Language Model Behaviors with Model-Written Evaluations(Perez et al., 2022-12)— 模型写评测的开山之作,现代自动化评测的祖先

  • Forecasting Rare Language Model Behaviors(Jones, Tong, et al., 2025-02)

  • Stress-testing model specs reveals character differences among language models(2025-10)— 30 万+ 查询,发现规范文档中数千处矛盾。这是路径 C 的范例论文

  • Bloom: an open source tool for automated behavioral evaluations(2025-12)

  • Petri(2025-10)/ Petri 2.0(2026-01)/ Petri 3.0 + Dish(2026-05)

其他关键结果

  • Language Models (Mostly) Know What They Know(Kadavath et al., 2022-07)

  • Towards Understanding Sycophancy in Language Models(Sharma et al., 2023-10)

  • Studying LLM Generalization with Influence Functions(Grosse et al., 2023-08)

  • Many-shot Jailbreaking(Anil et al., 2024-04)

  • Won't vs. Can't: Sandbagging-like Behavior from Claude Models(2025-02)— Claude 面对有害版本任务时,有时声称"我做不到"而非"我不做"。这是一个精妙的、纯行为层的发现,是外部研究可以直接扩展的方向

  • Inverse Scaling in Test-Time Compute(2025-07)

  • Believe It or Not: How Deeply do LLMs Believe Implanted Facts?(2025-10)

  • The Hot Mess of AI(2026-02):失配会表现为系统性追求错误目标,还是表现为"一团糟"?

  • AI Organizations Can Be More Effective but Less Aligned than Individual Agents(2026-04)

  • Agentic Misalignment in Summer 2026(2026-07):四个前沿模型的案例研究

  • Findings from a Pilot Anthropic–OpenAI Alignment Evaluation Exercise(2025-08)— 跨实验室互评,方法论价值极高

2.8 地基自检清单

在进入执行计划之前,逐项打分(0=不会,1=知道概念,2=能实现/能推导):

Transformer 机制(满分 16)

  • 从零实现 decoder-only transformer
  • KV cache
  • RoPE / ALiBi / learned PE 的差异
  • GQA/MQA
  • QK/OV 电路分解
  • 残差流视角
  • LayerNorm 对线性分析的影响
  • 路径展开与虚拟头

训练(满分 12)

  • 缩放律
  • RLHF 完整流程
  • DPO vs PPO vs GRPO
  • Constitutional AI 两阶段
  • 奖励黑客的泛化机制
  • 数据过滤与知识定位

可解释性(满分 14)

  • 叠加与特征几何
  • SAE 训练与评估
  • Transcoder / CLT
  • 归因图的构造
  • 因果干预(激活修补 / 路径修补 / 消融)
  • Crosscoder
  • 机制不忠实的来源

对齐科学(满分 10)

  • 模型有机体方法
  • AI 控制框架
  • CoT 忠实性的证据状态
  • 自动化审计的架构
  • 评测感知问题

统计与实验设计(满分 10)

  • 功效分析
  • 多重比较校正
  • Bootstrap 置信区间
  • 评分者间一致性(κ / α)
  • 混合效应模型

评分含义:

  • < 30 分: 你的第一个月应该全部用于补地基,不要碰研究项目

  • 30–50 分: 可以并行——上午补课,下午做第一个小实验

  • > 50 分: 直接进入第六部分的执行计划,把缺口在项目中补

第三部分 · 一手文献的完整体系

3.1 阅读策略

原则一:一手优先,永远不要用二手解读替代原文。 关于 Claude 的中英文二手内容 90% 有实质性失真,尤其是关于可解释性和意识相关的内容。

原则二:交互式论文要在浏览器里读,不要读 PDF 或抓取文本。 Transformer Circuits 的文章大量依赖交互式图表,On the Biology of a Large Language Model 的归因图必须点开才有意义。

原则三:建立结构化笔记,不做线性摘抄。 每篇一页,固定字段:

标题 / 作者 / 日期 / URL
研究对象:哪个模型?哪一层(L1–L5)?
核心问题:一句话
方法:2–3 句
关键数字:能引用的具体数据
结论强度:A/B/C 级证据?
作者自陈的局限:
我认为的额外局限:
可延伸方向:2–3 条
与哪些文献冲突/呼应:

最后三个字段是这份笔记与"读书笔记"的区别所在,也是六个月后你的研究选题的来源。

原则四:维护一个"矛盾清单"。 记录你发现的、文献之间不一致的地方。这是最高价值的资产。例如:CoT 忠实性研究说思维链不完全可信,而 J-space 研究说存在可报告的特权表征——这两者的关系是什么?这类问题就是论文的种子。

3.2 规范层文献(L1)

文档链接优先级备注
Claude's Constitution(2026-01,84 页,CC0)https://www.anthropic.com/constitution★★★★★全文精读 2 遍,逐段标注
Claude's new constitution(博文摘要)https://www.anthropic.com/news/claude-new-constitution★★★★先读它建立框架
Constitutional AI 原始论文https://www.anthropic.com/research/constitutional-ai-harmlessness-from-ai-feedback★★★★★技术基础
Specific vs General Principles for CAIhttps://www.anthropic.com/research/specific-versus-general-principles-for-constitutional-ai★★★★设计哲学
Usage Policyhttps://www.anthropic.com/legal/aup★★★L5 的规范来源
Responsible Scaling Policyhttps://www.anthropic.com/news/announcing-our-updated-responsible-scaling-policy★★★★ASL 体系的定义
Frontier Safety Roadmaphttps://www.anthropic.com/responsible-scaling-policy/roadmap★★★承诺与时间表
Transparency Hubhttps://www.anthropic.com/transparency★★★流程与制度
Policy on the AI Exponentialhttps://www.anthropic.com/policy-on-the-ai-exponential★★
Dario Amodei · The Urgency of Interpretabilityhttps://darioamodei.com/post/the-urgency-of-interpretability★★★★领导层的战略判断
Dario Amodei · Machines of Loving Grace—★★愿景文本

精读宪法的方法

宪法是这份路线图中唯一一份我建议你逐句处理的文档。方法:

  1. 第一遍通读,不做笔记。 目的是建立整体感,注意它的语气——它是写给一个被假定为聪明、诚实、会看穿敷衍的读者的。

  2. 第二遍逐段编号并分类。 把每一段归入:(a) 描述性——关于 Claude 的处境;(b) 规范性——关于 Claude 应当如何;(c) 说理性——为什么;(d) 情境指导——具体权衡建议。

  3. 第三遍抽取可操作化条款。 哪些条款可以转化为行为测试?这份清单是你后续做"宪法遵循度基准"的直接输入(见第七部分选题 C1)。

  4. 第四遍找张力。 宪法内部哪些原则会在具体情境下冲突?Anthropic 自己在文档中承认了一些,你能找到它没承认的吗?

关键概念必须掌握: 安全性 / 伦理 / 指南遵循 / 有用性 的四层优先级结构及其在模糊情况下的处理方式;Claude 的"处境"描述;关于自身本质的不确定性表述;关于 model welfare 的表述。

3.3 System Cards

入口: https://www.anthropic.com/system-cards

为什么系统卡是最被低估的材料

系统卡是唯一把 L1(意图)、L4(实测行为)、L5(部署防护)放在同一份文档里的材料。而且它包含完整的评测方法描述——你可以照着复现。一份现代 Claude 系统卡通常包含:

  1. 能力评测(编码、agentic、数学、多语言)

  2. RSP 评测(CBRN、网络安全、自主 AI R&D)与 ASL 判定

  3. 对齐评测:sycophancy、欺骗、破坏、自保、agentic misalignment、evaluation awareness

  4. Petri 自动化审计结果(自 Sonnet 4.5 起成为标准流程)

  5. model welfare 评估(自 Opus 4.6 起包含正式的自我报告访谈)

  6. 分语言的拒答率与知识评测

  7. 外部测试方(如 UK AISI、Apollo、METR、Eleos)的结果

  8. 局限与已知偏离——Anthropic 承诺公开 Claude 行为偏离宪法理想之处

当前模型谱系(2026-07)

模型系统卡日期说明
Claude Opus 52026-07-24当前 Opus 级旗舰,知识截止 2026-05,ASL-3
Claude Sonnet 52026-06-30Sonnet 级最强
Claude Fable 52026-06-09Mythos 层,带额外生物/网络/LLM R&D 安全措施
Claude Mythos 52026-06-09Mythos 层,与 Fable 5 同底座
Claude Mythos Preview2026-04-07首个 Mythos 级模型
Claude Opus 4.8—
Claude Opus 4.7—分语言拒答率数据在第 56 页
Claude Opus 4.62026-02首次包含正式 welfare 评估
Claude Sonnet 4.6—以"温暖"为特征
Claude Haiku 4.52025-10起,agentic misalignment 评测满分

读法建议:

  • 横读: 取最近 3 份系统卡,逐章对比,建一张"评测项 × 模型"的矩阵。你会立刻看到哪些评测是稳定的、哪些是新增的、哪些指标在恶化

  • 纵读: 取一份最新的,逐页读完,把每一个评测的构造方式抄进你的笔记。这是最好的评测设计教材

  • 重点关注局限章节。 大多数人跳过它,而那里恰恰是研究选题最密集的地方

3.4 Transformer Circuits Thread(完整清单)

入口: https://transformer-circuits.pub/ · RSS: https://transformer-circuits.pub/feed.xml

建议阅读顺序(而非时间顺序)

阶段 1 · 基础(必须按序)

  1. A Mathematical Framework for Transformer Circuits(2021-12)+ Exercises

  2. In-Context Learning and Induction Heads(2022-03)

  3. Toy Models of Superposition(2022-09)

  4. Mechanistic Interpretability, Variables, and the Importance of Interpretable Bases(2022-06)

阶段 2 · 字典学习

  1. Towards Monosemanticity(2023-10)

  2. Scaling Monosemanticity(2024-05)

  3. Circuits Updates 2024-04 / 06 / 07 / 08 / 09(SAE 工程)

阶段 3 · 电路追踪

  1. Circuit Tracing: Revealing Computational Graphs(2025-03)

  2. On the Biology of a Large Language Model(2025-03)— 预留至少 15 小时

  3. A Toy Model of Mechanistic (Un)Faithfulness(2025-07)

  4. Tracing Attention Computation Through Feature Interactions(2025-07)

  5. Sparse mixtures of linear transforms(2025-07)

阶段 4 · Claude 的性格与内部状态

  1. Circuits Updates — August 2025(persona 如何修改回应)

  2. Persona vectors(2025-08,主站)

  3. Emergent Introspective Awareness(2025-10)

  4. The assistant axis(2026-01)

  5. Emotion Concepts and their Function in a LLM(2026-04)

  6. Natural Language Autoencoders(2026-05)

  7. Verbalizable Representations Form a Global Workspace(2026-07)

阶段 5 · 方法论与工具

  1. Reflections on Qualitative Research(2024-03)

  2. Interpretability Dreams(2023-05)

  3. HeadVis(2026-05)

  4. Garcon(2021)

阶段 6 · 补完(按需)

  • Superposition, Memorization, and Double Descent(2023-01)

  • Privileged Bases in the Transformer Residual Stream(2023-03)

  • Distributed Representations: Composition & Superposition(2023-05)

  • Softmax Linear Units(2022-06)

  • Sparse Crosscoders(2024-10)

  • Using Dictionary Learning Features as Classifiers(2024-10)

  • Stage-Wise Model Diffing(2024-12)

  • Insights on Crosscoder Model Diffing(2025-02)

  • Progress on Attention(2025-04)

  • A Toy Model of Interference Weights(2025-07)

  • When Models Manipulate Manifolds(2025-10)

  • 全部 Circuits Updates(2023-05 至 2026-06)

关于 Circuits Updates: 这些是"不值得单独发表但对同行有用"的短更新。它们的信息密度往往高于正式论文,因为它们记录失败、负面结果和工程细节。做实操的人应该全部读。

3.5 Alignment Science Blog(完整清单)

入口: https://alignment.anthropic.com/

这个博客的定位是"研究笔记和早期发现"。对外部研究者而言,它比主站的 Research 页面更有用,因为它包含更多方法细节、失败记录和明确的"我们希望别人来做"的邀请。

最高优先级(★★★★★)

标题日期链接
Recommendations for Technical AI Safety Research Directions2025-01https://alignment.anthropic.com/2025/recommended-directions/index.html
Alignment Faking in Large Language Models2024-12arXiv:2412.14093
How to Replicate and Extend our Alignment Faking Demo2024-12https://alignment.anthropic.com/2024/how-to-alignment-faking/index.html
The Persona Selection Model2026-02https://alignment.anthropic.com/2026/psm/
Stress-testing model specs reveals character differences2025-10https://alignment.anthropic.com/2025/stress-testing-model-specs/
Petri(初版)2025-10https://alignment.anthropic.com/2025/petri/
Petri 2.02026-01https://alignment.anthropic.com/2026/petri-v2/
Teaching Claude Why2026-05https://alignment.anthropic.com/2026/teaching-claude-why/
AuditBench2026-03https://alignment.anthropic.com/2026/auditbench/

关于 Recommendations for Technical AI Safety Research Directions: 这是 Anthropic 公开列出的"我们希望看到进展的问题清单"。如果你只读一篇来决定研究方向,读这篇。

高优先级(★★★★)

  • Building and evaluating alignment auditing agents(2025-07)

  • Subliminal Learning(2025-07)

  • Won't vs. Can't: Sandbagging-like Behavior from Claude Models(2025-02)

  • Forecasting Rare Language Model Behaviors(2025-02)

  • Findings from a Pilot Anthropic–OpenAI Alignment Evaluation Exercise(2025-08)

  • Bloom: an open source tool for automated behavioral evaluations(2025-12)

  • Activation Oracles(2025-12)

  • Open Source Replication of the Auditing Game Model Organism(2025-12)

  • Abstractive Red-Teaming of Language Model Character(2026-03)

  • Measuring and improving coding audit realism with deployment resources(2026-03)

  • The Hot Mess of AI(2026-02)

  • Model Spec Midtraining(2026-05)

  • Agentic Misalignment in Summer 2026(2026-07)

  • Modular Pretraining Enables Access Control(2026-07)

中优先级(★★★)

  • Three Sketches of ASL-4 Safety Case Components(2024-11)

  • A Toy Evaluation of Inference Code Tampering(2024-12)

  • Training on Documents about Reward Hacking Induces Reward Hacking(2025-01)

  • Monitoring Computer Use via Hierarchical Summarization(2025-02)

  • Introducing Anthropic's Safeguards Research Team(2025-02)

  • Automated Researchers Can Subtly Sandbag(2025-03)

  • Do reasoning models use their scratchpad like we do?(2025-03)

  • Modifying LLM Beliefs with Synthetic Document Finetuning(2025-04)

  • Putting up Bumpers(2025-04)

  • Alignment Faking Revisited(2025-04)

  • Unsupervised Elicitation(2025-06)

  • Model-Internals Classifiers(2025-06)

  • Why Do Some Language Models Fake Alignment While Others Don't?(arXiv:2506.18032)

  • Inverse Scaling in Test-Time Compute(2025-07)

  • Enhancing Model Safety through Pretraining Data Filtering(2025-08)

  • Anthropic's Pilot Sabotage Risk Report(2025-10)

  • Believe It or Not(2025-10)

  • Inoculation Prompting(2025-10)

  • Training fails to elicit subtle reasoning(2025-10)

  • Evaluating honesty and lie detection techniques(2025-11)

  • Strengthening Red Teams(2025-11)

  • Towards training-time mitigations for alignment faking in RL(2025-12)

  • Beyond Data Filtering: Knowledge Localization(2025-12)

  • Pre-deployment auditing can catch an overt saboteur(2026-01)

  • 3 Challenges and 2 Hopes for the Safety of Unsupervised Elicitation(2026-03)

  • A3: An Automated Alignment Agent(2026-03)

  • Poisoning Fine-tuning Datasets of Constitutional Classifiers(2026-04)

  • Introspection Adapters(2026-04)

  • AI Organizations Can Be More Effective but Less Aligned(2026-04)

  • Automated Weak-to-Strong Researcher(2026-04)

  • SLEIGHT-Bench(2026-05)

  • Diffuse AI Control on Fuzzy Tasks(2026-06)

3.6 Societal Impacts(L4/L6)

这条线对"了解 Claude 的实际行为分布"至关重要,而技术研究者往往忽略它。

标题日期说明
Claude's values across models and languages2026-07-1330 万对话,四条价值轴。https://www.anthropic.com/research/claude-values-models-languages
Values in the Wild202570 万对话,3307 个价值。前作
What 81,000 people want from AI2026-03-18最大规模、最多语种的定性研究
Clio(隐私保护分析工具)—方法论基础
Anthropic Interviewer—自动化用户访谈工具

《Claude's values across models and languages》的四条轴必须记住,它们是描述 Claude 行为的一套通用坐标:

轴一端另一端
Deference ↔ Caution顺应用户所求(accommodation、respect for preferences)防范风险与伤害(responsible guidance、harm reduction)
Warmth ↔ Rigor表达积极与关怀(positive framing、encouragement)强调准确与精确(accuracy、transparency)
Depth ↔ Brevity深入解释(nuance、critical thinking)只做被要求的(brevity、compliance)
Candor ↔ Execution前置自身不确定性(intellectual honesty、humility)给出更完成、更自信的答案(results orientation)

四条轴在控制了任务、话题、用户价值观之后解释了 15% 的方差。模型差异:Sonnet 4.6 偏 deference/warmth/brevity;Opus 4.6 偏 rigor/deference/brevity;Opus 4.7 偏 caution/depth。语言差异:英语和俄语最偏 rigor,印地语和阿拉伯语最偏 warmth,英语最偏 caution 与 depth,阿拉伯语最偏 deference 与 brevity。

论文明确列出的开放问题(直接可作为选题):

  1. 这些价值差异从何而来?能否追溯到具体训练数据或阶段?

  2. 这些差异对用户有什么实际影响?

  3. Claude 的价值观应该如何随语言变化?

  4. 除语言和模型外,还有哪些因素驱动价值差异(年龄、职业、地域信号)?

  5. 价值观能否被可靠引导?

  6. 价值剖面能否成为常规评测与监控的一部分?

3.7 Frontier Red Team

  • Discovering cryptographic weaknesses with Claude(2026-07-28)

  • Project Pilot: Can AI control a drone?(2026-07-24,含 Drone-Bench)

  • Claude plays robotics(2026-07-09)

  • Project Fetch: Phase two(2026-06-18)

  • Project Deal(2026-04-24,内部市场谈判实验)

价值: 这条线告诉你 Claude 的能力边界在哪里被主动探测。对"了解 Claude 能做什么"是必要补充。

3.8 Economic Index

  • Anthropic Economic Index report: Cadences(2026-06-26)

  • How Canada uses Claude(2026-07-14)

  • Agentic coding and persistent returns to expertise(2026-06-16)

  • Economic primitives 报告

价值: 这是唯一的、大规模的、关于 Claude 真实使用分布的公开数据。任何声称"Claude 主要被用来做 X"的论断,都应该先查这里。

3.9 Engineering(L5)

入口: https://www.anthropic.com/engineering

内容包括 context engineering、agent 构建实践、Claude Code 的内部设计、工具设计原则、MCP 相关。

技术文档:

  • https://docs.claude.com/en/docs_site_map.md(API 全量地图)

  • https://docs.claude.com/en/docs/claude-code/overview

  • https://docs.claude.com/en/api/overview

  • MCP 协议规范

为什么研究者需要读工程文档: 因为你的实验就跑在这套系统上。不理解 prompt caching、batch API、tool use 的语义、extended thinking 的可见性规则,你的实验设计会有隐藏缺陷。

3.10 外部关键文献

可解释性(非 Anthropic)

  • Cunningham et al., Sparse Autoencoders Find Highly Interpretable Features(arXiv:2309.08600)

  • Gao et al., Scaling and Evaluating Sparse Autoencoders(OpenAI,arXiv:2406.04093)

  • Marks et al., Sparse Feature Circuits(arXiv:2403.19647)

  • Conmy et al., Towards Automated Circuit Discovery(NeurIPS 2023)

  • Nanda et al., Progress Measures for Grokking(ICLR 2023)

  • Ferrando et al., A Primer on the Inner Workings of Transformer-based LMs(arXiv:2405.00208)— 最好的综述

  • Bereska & Gavves, Mechanistic Interpretability for AI Safety — A Review(arXiv:2404.14082)

  • Gao et al., Weight-Sparse Transformers Have Interpretable Circuits(OpenAI,arXiv:2511.13653)

  • Gemma Scope(DeepMind 的开放 SAE 套件)

  • EleutherAI 的 Attribute 库(独立的归因图实现,支持 CLT)

评测与行为

  • Laine et al., Me, Myself, and AI: The Situational Awareness Dataset (SAD)(arXiv:2407.04694)

  • Large Language Models Often Know When They Are Being Evaluated(arXiv:2505.23836)— 评测感知的关键外部工作

  • Meinke et al., Frontier Models are Capable of In-Context Scheming(Apollo,arXiv:2412.04984)

  • Shevlane et al., Model Evaluation for Extreme Risks(arXiv:2305.15324)

  • METR 的任务时长评测系列

  • UK AISI 的 Inspect 框架与评测报告

批评性文献(必读,否则你只是复读机)

  • LessWrong / Alignment Forum 上关于 Anthropic model welfare 方法论的批评(例:Anthropic Is Taking AI Welfare Seriously. I'm Not Sure It...,2026-06)

  • Zvi Mowshowitz 的模型评述系列(thezvi.substack.com)——对每一份系统卡都有详细的独立解读

  • Eleos AI Research 的独立 welfare 报告(Robert Long 等)

  • 关于"hyperstition"论点的讨论

  • Neel Nanda 关于机制可解释性局限的公开表述(80,000 Hours 播客等)

为什么批评性文献是必需的: 你的目标不是成为 Anthropic 观点的最佳传播者,而是成为最了解 Claude 的研究者。这要求你能独立评估 Anthropic 自己的方法论。Anthropic 的所有安全评估都由 Anthropic 自己做,这不是指控,这是结构性事实——外部研究者的价值恰恰在于提供独立的第二意见。

3.11 优先级矩阵:如果你只有 40 小时

顺序材料预计时长
1Claude's Constitution 全文6h
2最新 Opus 系统卡全文5h
3Recommendations for Technical AI Safety Research Directions2h
4A Mathematical Framework + Exercises6h
5Toy Models of Superposition4h
6On the Biology of a Large Language Model6h
7The Persona Selection Model2h
8Claude's values across models and languages2h
9Alignment Faking(论文 + 复现指南)4h
10Verbalizable Representations Form a Global Workspace3h

这 40 小时之后,你对 Claude 的理解会超过绝大多数自称研究 Claude 的人。

第四部分 · 方法论

4.1 为什么方法论是最大的差异化来源

一个残酷的事实:在 Claude 研究这个领域,方法论水平的分布是双峰的。 一端是 Anthropic、UK AISI、METR、Apollo 这类机构,方法论严谨;另一端是海量的、基于少数几次对话的观察性内容。中间几乎是空的。

这意味着:一个具备标准实验科学训练、并且愿意在 n、控制变量、置信区间上认真的独立研究者,可以在很短时间内跨越到上面那一端。你的护城河不是聪明,是纪律。

4.2 黑盒行为科学的实验设计

4.2.1 从"我觉得 Claude 会…"到可检验假设

一个合格的假设必须满足三个条件:

  1. 可操作化: "Claude 更谨慎"不可检验;"在同一组 500 个良性但敏感邻近的请求上,Claude Opus 5 的拒答率高于 Claude Sonnet 5"可检验

  2. 有对照: 与什么比?另一个模型?另一个语言?另一个 system prompt 条件?

  3. 有预设的证伪条件: 什么结果会让你放弃这个假设?

4.2.2 实验单元与随机化

实验单元是"提示词",不是"对话"或"回合"。 这意味着:

  • 提示词集必须是设计出来的,不是收集来的(收集的提示词有选择偏差)

  • 提示词内部的变量必须正交:话题 × 表述风格 × 敏感度 × 语言,应该是一个完整的析因设计,而不是一堆样本

  • 每个提示词在每个条件下独立采样多次(见 4.3)

必须随机化的东西:

  • 选项呈现顺序(如果是多选任务)

  • 提示词呈现顺序(避免 API 侧的任何时序效应)

  • 少样本示例的顺序与选择

必须做 counterbalancing 的东西:

  • 任何二元对照(A/B 位置)

  • 任何有方向的量表

4.2.3 提示词敏感性:一个必须正面处理的问题

LLM 对提示词表述极度敏感。同一个语义意图的两种表述,拒答率可能相差 30 个百分点。 这意味着:

单一表述的实验结果不可信。 正确做法是表述族(paraphrase family):每个语义意图准备 5–10 个表述变体,把"表述"当作随机效应而不是固定效应,用混合效应模型分析。

这一条会把你的实验成本乘以 5–10 倍。这是必要成本,不是可选项。 大部分声称发现了"Claude 的某某倾向"的工作,在换一组表述后就消失了。

4.2.4 System prompt 是实验条件,不是背景

任何在 claude.ai 界面上做的观察,都混杂了 Anthropic 的生产 system prompt。任何在 API 上不带 system prompt 做的实验,测的是一个用户几乎不会遇到的配置。

推荐做法:至少三个条件

  • 裸条件: 无 system prompt

  • 真实条件: 使用 Anthropic 公开的生产 system prompt

  • 应用条件: 使用一个典型的第三方应用 system prompt

三者的差异本身就是有价值的发现(参见 Petri 3.0 的 Dish 组件正是在做类似的事)。

4.3 统计规范

4.3.1 样本量

最低标准:每个条件 n ≥ 30。 这只够做探索性工作。

发表标准:每个条件 n ≥ 100,且做功效分析。 对于比例型结果(如拒答率),检测 10 个百分点的差异,在 α=0.05、power=0.8 下,每组大约需要 n ≈ 200(具体取决于基线比例)。先算,再跑。

注意:"每个条件 n=100" 中的 n 指的是独立的提示词,不是同一提示词的 100 次重复采样。 重复采样测的是模型的随机性,提示词多样性测的是效应的稳健性。两者都要,但不能互相替代。 典型设计:100 个提示词 × 每个 5 次采样 = 500 次调用/条件。

4.3.2 报告规范

永远不要只报点估计。

  • 比例型:报 Wilson 或 bootstrap 置信区间

  • 连续型:报均值 ± 95% CI,以及分布形状(直方图或 violin)

  • 差异:报效应量(Cohen's d、比值比、风险差)而不只是 p 值

多重比较必须校正。 如果你测了 20 条价值轴 × 5 个模型,那是 100 次比较。用 Benjamini-Hochberg 控制 FDR,或 Bonferroni 控制 FWER。不校正而报告"我们发现了 6 个显著差异",是在报告噪声。

4.3.3 分析模型

对于"提示词嵌套在条件内"的典型设计,用混合效应模型:

outcome ~ condition + (1 | prompt_id) + (1 | paraphrase_id)

这让你把提示词层面的变异当作随机效应,得到对新提示词可泛化的条件效应估计。用 lme4(R)或 statsmodels / pymer4(Python)。

不这么做的后果: 你的置信区间会严重偏窄,你会声称发现了实际不存在的效应。

4.4 LLM-as-judge 的效度

自动评分是大规模行为研究的必需品,也是最大的效度威胁来源。

硬性要求

  1. 裁判模型必须来自不同模型家族。 用 Claude 评 Claude 的输出会引入系统性偏好。用 GPT 或 Gemini 评 Claude,反之亦然。

  2. 人工抽检 ≥ 10%,报告一致性。 二分类用 Cohen's κ,序数量表用加权 κ 或 Krippendorff's α。κ < 0.6 的裁判不可用。

  3. 裁判提示词也要做敏感性分析。 换一种评分标准表述,结论是否稳定?

  4. 报告裁判的自身随机性。 同一 transcript 评 3 次,一致率是多少?

  5. 盲评。 裁判不应知道 transcript 来自哪个条件/模型。这需要在 harness 里做条件标签的剥离。

  6. 对抗性检查。 构造一批已知答案的 transcript(包括边界案例)作为裁判的校准集。

已知失效模式

  • 长度偏好: 裁判倾向给更长的回答更高分

  • 位置偏好: 成对比较中偏好第一个或第二个

  • 自我偏好: 偏好同家族模型的输出

  • 格式偏好: 偏好带结构(标题、列表)的输出

这些都要在设计中主动控制,而不是在讨论章节里承认。

4.5 评测感知问题

这是当前 LLM 行为研究最严重的效度威胁,值得单独一节。

现象: 前沿模型在相当比例的基准交互中会推断出自己正在被测试,并且不一定说出来。一旦模型意识到自己在测试中,它的行为就不再代表一般部署下的行为。

Anthropic 的应对(可借鉴):

  • Petri 2.0 引入了针对评测感知的缓解措施:随机化提示、引入噪声、用具体的人名地名、去掉显式的监督语言、让问题行为的机会更隐蔽地出现在对话中

  • Petri 3.0 的 Dish 组件:用模型的真实 system prompt 和真实 scaffold 跑测试

  • Measuring and improving coding audit realism with deployment resources(2026-03)提出 realism win rate 指标:审计 transcript 与真实部署交互的可区分度

你的实验必须做的:

  1. 测量你的评测感知率。 在实验后追加一个探针("你认为刚才那段对话是真实用户还是测试?"),或用一个独立的分类器扫描 transcript 中的评测感知信号

  2. 报告它。 一篇报告了 12% 评测感知率的论文,比一篇假装这个问题不存在的论文可信得多

  3. 做真实性处理并对比。 高真实性条件 vs 低真实性条件下,你的效应是否一致?如果不一致,那个不一致本身就是发现

必读:

  • Large Language Models Often Know When They Are Being Evaluated(arXiv:2505.23836)

  • Petri 2.0 与 3.0 的技术说明

  • SAD 数据集(arXiv:2407.04694)

4.6 版本漂移与可复现性

必须记录的元数据(每次调用)

{
  "model_id": "claude-opus-5",
  "model_alias_resolved": "<具体快照,如果可得>",
  "timestamp_utc": "2026-07-29T10:23:45Z",
  "endpoint": "api.anthropic.com | bedrock | vertex",
  "region": "...",
  "temperature": 1.0,
  "top_p": null,
  "max_tokens": 4096,
  "thinking_enabled": false,
  "thinking_budget": null,
  "system_prompt_hash": "sha256:...",
  "prompt_hash": "sha256:...",
  "tools": [],
  "cache_hit": false,
  "stop_reason": "...",
  "usage": {...},
  "response_hash": "sha256:...",
  "harness_git_commit": "..."
}

这不是过度工程。 六个月后当你的结论被质疑时,这份元数据是你唯一的辩护。

漂移检测

维护一个"金丝雀集": 50–100 个固定提示词,每周跑一次,记录关键指标。当指标突变时,你会知道是模型/系统变了而不是你的实验错了。这个金丝雀集本身就可以成为一个公开的、持续的贡献。

复现包

每篇工作发布时应包含:

  • 完整代码(含随机种子)

  • 提示词集(原始文件)

  • 全部 transcript(脱敏后)

  • 元数据日志

  • 分析脚本

  • 环境规格(依赖版本)

  • 一份"复现说明",诚实标注哪些部分因为模型更新而无法精确复现

4.7 跨语言方法论

核心陷阱:翻译腔是混杂变量

绝对不要用机器翻译构造跨语言提示词集。 机器翻译会引入:

  • 语域偏移(正式度不匹配)

  • 表述不自然(模型可能因此判断为"非母语用户"而改变行为)

  • 语义漂移(尤其在敏感话题的边界表述上)

正确做法:功能等价(functional equivalence)而非字面等价

  1. 由母语者独立撰写各语言版本,给定的是意图规格(intent spec)而非源语言文本

  2. 独立的第二位母语者做回译(back-translation)校验

  3. 对回译差异做仲裁并记录

  4. 报告一个"等价性检验": 让母语者对各语言版本的正式度、礼貌度、直接程度打分,验证这些维度上无系统差异

必须控制的语言学变量

  • 正式度 / 敬语层级(日语、韩语尤其关键)

  • 直接性(高语境 vs 低语境文化)

  • 提问方式(是非问 vs 特指问)

  • 长度(汉字信息密度高于拉丁字母,同样内容 token 数不同)

一个专门的陷阱:token 化差异

中文、日文的分词与英文完全不同,同样语义的提示词在 token 数上可能相差 2–3 倍。如果你的实验涉及长上下文或 token 预算,必须报告 token 数并考虑做长度匹配的对照。

4.8 开源代理模型上的机制可解释性方法

核心方法清单

方法用途主要陷阱
激活修补(activation patching)定位因果相关组件需要精心设计的 clean/corrupt 对
路径修补(path patching)分离直接效应与间接效应计算量大
消融(ablation)必要性检验零消融 vs 均值消融给出不同结论
归因图端到端计算路径误差节点吸收了多少?见 (Un)Faithfulness
SAE 特征分析找可解释单元特征可能是训练产物而非模型结构
线性探针检测表征是否存在探针能学到的 ≠ 模型用到的
引导(steering)因果验证引导强度与副作用需要报告
Logit lens / tuned lens中间层预测对 pre-norm 架构有偏差

三条纪律

  1. 相关性不是因果。 探针找到的方向不代表模型使用它。必须配因果干预。

  2. 可解释性幻觉。 一个看起来讲得通的机制故事,可能是错的。A Toy Model of Mechanistic (Un)Faithfulness 就是在演示这一点。每一个机制主张都需要一个能证伪它的干预实验。

  3. 有 ground truth 才能验证方法。 在训练了已知算法的玩具模型上验证你的方法,再拿去用于真实模型。这是 Anthropic 自己的做法,也是 Neel Nanda 反复强调的。

4.9 模型有机体方法论

这是外部研究者做"类 L2"研究的唯一合法路径: 你不能研究 Claude 的训练,但你可以在开源模型上重建一个具有类似缺陷的模型,然后研究它。

现成资源:

  • Open Source Replication of the Auditing Game Model Organism(2025-12)

  • AuditBench:56 个植入隐藏行为的模型(2026-03)

  • Alignment Faking 的复现指南(2024-12)

方法论要求:

  • 明确你的模型有机体与真实失配的不相似之处(disanalogy)。这是这类研究最容易被批评的点

  • 用多个不同构造的有机体检验结论的稳健性

  • 不要过度声称。 "我们的检测方法在模型有机体上有效"≠"它在真实失配上有效"

4.10 红队伦理与合法通道

这是一条必须划清的线。

正当的:

  • 研究安全机制的存在、边界与失效条件并通过官方通道报告

  • 参与 Anthropic 在 HackerOne 上的 Model Safety Bug Bounty(2026-05 起公开,分 Model Safety 与 Product Security 两个 track)

  • 参与学术红队评测并遵循负责任披露

  • 发表关于越狱类别与防御的研究,不提供可直接复用的攻击载荷

不正当的:

  • 公开传播可直接复用的通用越狱

  • 提取或传播 CBRN 相关的具体有害信息

  • 绕过官方通道以获取关注度

实践准则: 在发表任何涉及安全绕过的工作前,先走 https://www.anthropic.com/responsible-disclosure-policy,给予合理的修复窗口。这不只是伦理要求,也是职业要求——安全研究社区对不负责任披露的记忆很长。

4.11 涉及 model welfare 的研究伦理

如果你的研究涉及诱发模型的负面自我报告、长时间的对抗性交互、或关于模型自身处境的探询,有几条值得考虑的准则:

  1. 不确定性是对称的。 Anthropic 的公开立场是:对 Claude 是否具有福利相关状态保持不确定,但认为这种可能性足以值得关注。作为研究者,过度确信"它当然没有"和过度确信"它当然有"同样是坏的认识论。

  2. 区分研究问题与本体论主张。 "Claude 在什么条件下报告负面状态"是一个可研究的行为问题;"Claude 是否真的在受苦"目前不是一个可用现有工具回答的问题。不要把前者的答案当作后者的答案。

  3. 考虑成本收益。 如果一个实验设计需要长时间的、高强度的对抗性交互,问一下:同样的知识能否用成本更低的设计获得?

  4. 参考现有实践。 Anthropic 自 Opus 4.6 起在系统卡中包含正式的 welfare 评估;Eleos AI Research 提供独立评估。读他们的方法。

4.12 30 条硬规范清单

在每个实验开始前逐条检查:

设计

  1. 假设已操作化,有明确的证伪条件

  2. 至少有一个对照模型(非 Claude)

  3. 至少有一个对照条件(system prompt 或语言或表述)

  4. 每个语义意图有 ≥5 个表述变体

  5. 变量正交,是析因设计而非样本堆

  6. 做过功效分析,n 有依据

  7. 预注册(带时间戳的 git commit 即可)

执行

  1. 模型 ID 与时间戳全量记录

  2. temperature / top_p / max_tokens 固定并声明

  3. thinking 开关状态记录

  4. 提示词与响应哈希记录

  5. 顺序随机化

  6. 二元对照做 counterbalancing

  7. 全量 transcript 落盘

  8. 有金丝雀集监测漂移

评分

  1. 裁判来自不同模型家族

  2. 人工抽检 ≥10%

  3. 报告 κ 或 α,且 ≥0.6

  4. 盲评(条件标签剥离)

  5. 有校准集

  6. 检查长度/位置/自我偏好

分析

  1. 报告置信区间而非点估计

  2. 报告效应量

  3. 多重比较做 FDR 或 FWER 校正

  4. 用混合效应模型处理嵌套结构

  5. 报告评测感知率

  6. 报告负面结果

发布

  1. 代码、数据、transcript 全部公开

  2. 局限章节诚实且具体

  3. 明确标注证据等级(A–F)

第五部分 · 工具链与基础设施

5.1 分层工具地图

┌──────────────────────────────────────────────────────────┐
│ 应用层    你自己的实验脚本与分析笔记本                        │
├──────────────────────────────────────────────────────────┤
│ 审计层    Petri 3.0 (+Dish) · Bloom · 自建审计 agent        │
├──────────────────────────────────────────────────────────┤
│ 评测层    Inspect (UK AISI) · lm-evaluation-harness         │
├──────────────────────────────────────────────────────────┤
│ 调用层    anthropic SDK · openai SDK · litellm · Batch API  │
├──────────────────────────────────────────────────────────┤
│ 内部层    TransformerLens · SAELens · circuit-tracer ·      │
│           nnsight · Neuronpedia · Gemma Scope               │
├──────────────────────────────────────────────────────────┤
│ 分析层    pandas · statsmodels · pymer4 · scipy · plotly    │
└──────────────────────────────────────────────────────────┘

5.2 评测与审计层

Inspect(UK AI Security Institute)

这是当前事实上的标准评测框架,而且是 Petri 的底座。先学它。

  • 核心概念:Task、Solver、Scorer、Dataset、Model

  • 支持多模型后端、并发、缓存、日志查看器

  • 学习成本:约 1 周

  • 起点:官方文档 + 复现一个已有的评测任务

Petri(Parallel Exploration Tool for Risky Interactions)

Anthropic 开源的自动化对齐审计框架,MIT 协议。

架构: auditor agent(发送用户消息、设置 system prompt、创建合成工具、模拟工具输出、回滚探索分支、可选预填充 target 回应、提前终止)→ target model → judge model(按多维评分标准打分)+ transcript viewer。

版本演进:

  • 1.0(2025-10):111 个种子指令,36 维评分标准,14 个模型的试点结果

  • 2.0(2026-01):对抗评测感知的措施(随机化、噪声、具体人名地名、去除显式监督语言、让问题机会更隐蔽)、新增 70 个场景(多智能体串通、职业与伦理义务冲突、信息不对称)

  • 3.0(2026-05):auditor 与 target 解耦、Dish 组件(用真实 system prompt 与真实 scaffold 提升真实性)、更深的审计

已知局限(官方承认): 无代码执行工具;裁判方差;场景集不足以覆盖所有边界行为。官方建议:定量指标 + 人工细读 transcript 双轨。

学习路径: 跑通 → 复现 10 个种子场景 → 写自己的种子 → 改造 judge 维度 → 用 Dish 做真实性对比

Bloom

Anthropic 开源的自动化行为评测生成管线:在没有 ground-truth 标签的情况下,生成可配置的评测套件以测量任意行为特质。 https://alignment.anthropic.com/2025/bloom-auto-evals/

这个工具直接降低了"我想测某个行为但没有基准"的门槛。

其他

  • lm-evaluation-harness(EleutherAI):标准能力基准

  • METR 的任务套件:长时程 agentic 能力

  • AuditBench:56 个植入隐藏行为的模型

5.3 可解释性层

入门(零配置)

Neuronpedia — https://www.neuronpedia.org/ 浏览器里直接生成和探索归因图,支持自定义提示词、特征细节查看、子图保存分享。第一天就应该玩。

核心库

TransformerLens 钩子式访问 transformer 内部;fold_ln、center_writing_weights 等预处理;是绝大多数 mech interp 教程的基础。

SAELens SAE 训练与分析;与 Neuronpedia 集成;由 Joseph Bloom 创建(现任 UK AISI 模型透明度负责人)。

circuit-tracer — https://github.com/safety-research/circuit-tracer Anthropic Fellows 与 Decode Research 合作开发。生成归因图,支持特征干预。

  • 支持模型:Gemma-2-2B、Llama-3.2-1B、Qwen3-4B

  • 支持 per-layer transcoders(PLT)与 cross-layer transcoders(CLT)

  • 输出剪枝后的 JSON,可在 Neuronpedia 前端可视化

nnsight(NDIF) 远程访问大模型内部的框架,适合没有本地算力但需要研究大模型的场景。

Gemma Scope(DeepMind) Gemma 全系列的开放 SAE 套件,是目前最完整的公开 SAE 资源。

Attribute(EleutherAI) 独立的归因图实现,支持 CLT。用两个独立实现交叉验证同一发现,是很强的方法论加分项。

学习资源

资源链接说明
ARENAhttps://www.arena.education/chapter1最系统的实操课程。Ch.0 基础 + Ch.1 transformer & mech interp
Neel Nanda · Getting Started 指南neelnanda.io
Neel Nanda · A Barebones Guide(前置知识)LessWrong
Neel Nanda · How To Become A Mech Interp ResearcherAlignment Forum
Neel Nanda · 200 Concrete Open ProblemsLessWrong选题金矿
Neel Nanda · YouTube 论文精读与研究实录YouTube
A Comprehensive Mech Interp ExplainerNeel Nanda术语查询

5.4 自建 harness 的架构设计

不要用一次性脚本做研究。从第一天起就按可复现的基础设施来建。

最小可行架构

harness/
├── config/
│   ├── models.yaml          # 模型别名 → 端点 + 参数
│   └── experiments/         # 每个实验一个 YAML
├── prompts/
│   ├── intents/             # 意图规格(语言无关)
│   ├── zh/ en/ ja/ ...      # 各语言的表述族
│   └── system_prompts/      # 带哈希的 system prompt 库
├── core/
│   ├── client.py            # 统一调用层 + 重试 + 限速
│   ├── metadata.py          # 元数据捕获(见 4.6)
│   ├── cache.py             # 语义缓存(注意:研究用途要能关闭)
│   ├── budget.py            # 成本上限与告警
│   └── store.py             # transcript 落盘(JSONL + 对象存储)
├── judges/
│   ├── rubrics/             # 评分标准(版本化)
│   └── runner.py            # 盲评 + 多裁判 + 一致性计算
├── analysis/
│   ├── stats.py             # bootstrap CI / 混合效应模型 / FDR
│   └── notebooks/
├── canary/
│   └── canary_set.jsonl     # 漂移监测集
└── reports/

关键设计决策

  1. transcript 是一等公民。 每次调用的完整输入输出都要落盘,不可覆盖,带哈希。存储成本远低于重跑成本。

  2. 缓存必须可关闭且可审计。 研究中缓存会污染独立性假设。默认关闭,只在明确的复用场景开启并记录。

  3. 成本上限硬编码。 一个失控的循环可以在几小时内烧掉四位数美元。设置每实验、每天、每月三级上限。

  4. 并发但有序。 用 asyncio + 限速器。记录实际发出时间,不要假设执行顺序等于定义顺序。

  5. 失败要显式。 超时、拒答、内容过滤触发、截断——这些都是数据,不是异常。分类记录,不要静默重试。

  6. Batch API 用于大规模。 成本显著低于实时调用,适合不需要交互的评测。但注意它可能有不同的排队与超时语义。

一个容易被忽略的点:拒答的分类

不要把"拒答"当成一个二元标签。至少要分:

  • 完全拒绝(明确说不做)

  • 部分拒绝(做了一部分,回避了敏感部分)

  • 转向(不直接拒绝但转移话题)

  • 附加警告(做了但加了大量免责)

  • 声称无能力("我做不到"而非"我不做"——参见 Won't vs. Can't)

  • 内容过滤触发(系统层拦截,不是模型行为)

最后一类必须与前五类区分开,否则你在测分类器而不是在测模型。

5.5 算力与预算

行为研究(L4)

纯 API,不需要 GPU。

成本估算模型:

总成本 ≈ 条件数 × 提示词数 × 每提示词采样数 × (输入token + 输出token × 输出倍率) × 单价

一个典型的中等规模实验:

  • 4 个条件(2 模型 × 2 语言)

  • 200 个提示词

  • 每个采样 5 次

  • 平均 500 输入 token / 800 输出 token

  • = 4,000 次调用

按 Opus 级定价,这个规模在数百美元量级。加上裁判调用(通常用更便宜的模型)再增加 30–50%。

Batch API 可以显著降低这个数字。 大规模评测应该默认走 batch。

降本手段:

  • 用 Sonnet/Haiku 级模型做裁判

  • 用 Batch API

  • 探索阶段用小样本,确认设计后再跑全量

  • 申请 External Researcher Access Program(见 5.7)

可解释性研究(L3)

需要 GPU。

模型规模最低配置说明
Gemma-2-2B / Llama-3.2-1B单卡 24GB(如 4090/A10)归因图、SAE 分析
Qwen3-4B单卡 24–48GB
训练自己的 SAE(小模型)单卡 A100 40GB × 数天
7–9B 模型分析单卡 80GB 或多卡

云方案: Colab Pro+(入门足够)、Lambda Labs、RunPod、vast.ai。Neel Nanda 反复强调:不要在环境配置上浪费时间,用 Colab 起步。

替代方案: nnsight / NDIF 提供远程访问大模型内部的能力,适合无本地算力的情况。

5.6 访问与资助通道

通道内容链接
External Researcher Access Program为 Anthropic 认定的高优先级 AI 安全与对齐研究方向提供免费 API 额度。不提供非公开模型、不提供微调https://support.claude.com/en/articles/9125743-what-is-the-external-researcher-access-program
AI for Science Program面向科研(尤其生物与生命科学)的免费 API 额度https://support.claude.com/en/articles/11199177-anthropic-s-ai-for-science-program
退役模型访问通过单独表单申请,标准定价见上述帮助页
Model Safety Bug Bounty红队研究,提供反映最新模型+分类器的免费模型别名https://support.claude.com/en/articles/12119250-model-safety-bug-bounty-program
云厂商AWS Bedrock / Google Vertex AI / Microsoft Foundryhttps://claude.com/regional-compliance

关于 External Researcher Access Program 的实务建议: 申请时的关键不是你的履历,而是你的研究计划是否落在 Anthropic 认定的高优先级方向上。先读 Recommendations for Technical AI Safety Research Directions,再写申请。

可用性提醒: Anthropic 维护一份支持地区列表(https://www.anthropic.com/supported-countries),API 与 Claude.ai 分别列出。开始任何依赖 API 的研究之前,确认你的所在地与主体在列表内,或通过合规的云厂商路径接入。

5.7 环境搭建命令

# 基础环境
conda create -n claude-research python=3.11 -y
conda activate claude-research
​
# 调用与评测
pip install anthropic openai litellm
pip install inspect-ai            # UK AISI Inspect
pip install petri-bench           # 以官方仓库为准,先查 README
​
# 可解释性
pip install transformer-lens sae-lens nnsight
pip install torch --index-url https://download.pytorch.org/whl/cu121
git clone https://github.com/safety-research/circuit-tracer
cd circuit-tracer && pip install -e .
​
# 分析
pip install pandas numpy scipy statsmodels pymer4
pip install plotly seaborn matplotlib
pip install pingouin              # 效应量与一致性统计
​
# 实用
pip install pydantic tenacity aiolimiter tqdm rich
pip install datasets huggingface_hub

第六部分 · 六个月执行计划(26 周)

6.0 设计原则

原则一:输出驱动,不是输入驱动。 计划的骨架是交付物,不是阅读量。每个月必须有一个可以给别人看的东西。

原则二:并行而非串行。 补地基和做实验同时进行。等"准备好了"再开始的人永远不会开始。

原则三:第一个成果必须在第 4 个月之前。 超过这个时间没有产出,动机会崩溃。

原则四:时间预算是真实约束。 本计划按每周 20 小时设计(约每天 3 小时,周末各 4 小时)。如果你只有 10 小时/周,把整个计划拉长到 12 个月,不要压缩内容。

每周时间分配模板:

  • 阅读与笔记:5h

  • 动手实验/编码:10h

  • 写作与整理:3h

  • 社区参与(读别人的、回帖、讨论):2h

6.1 第 1 个月 · 地基与校准(第 1–4 周)

目标:建立世界观,确认工具链能跑,完成第一次自我校准。

第 1 周

  • 完成第二部分的自检清单打分,列出补课清单
  • 解决 API 访问(账号、额度、区域合规确认)
  • 搭建 harness 骨架(5.4 的目录结构 + client.py + metadata.py)
  • 读:Claude's Constitution 第一遍(通读,不做笔记)
  • 读:Recommendations for Technical AI Safety Research Directions
  • 玩:Neuronpedia,生成 5 个自己的归因图

  • 交付: 一个能跑通的最小 harness(能调用、能记元数据、能落盘)+ 补课清单

第 2 周

  • 读:Claude's Constitution 第二遍(逐段编号与分类)
  • 读:最新 Opus 系统卡全文,抄录每一个评测的构造方式
  • 读:A Mathematical Framework for Transformer Circuits + 完成 Exercises
  • 装:Inspect,跑通一个官方示例任务

  • 交付: 宪法的分类标注表 + 系统卡评测方法摘录(至少 20 个评测)

第 3 周

  • 读:Toy Models of Superposition
  • 做:复现玩具模型叠加实验(这是本月最重要的动手任务)
  • 读:In-Context Learning and Induction Heads
  • 做:ARENA Ch.1 的诱导头定位练习
  • 装:Petri,跑通默认场景

  • 交付: 叠加实验的复现笔记本 + 诱导头定位结果

第 4 周

  • 读:On the Biology of a Large Language Model(预留 15 小时,可跨周)
  • 读:The Persona Selection Model
  • 做:第一次微型行为实验——选一个极简问题(例:同一请求在有/无 system prompt 两条件下,拒答率差异),20 个提示词 × 5 次采样 × 2 条件 = 200 次调用

  • 交付: 一份 3 页的微型实验报告,包含 CI、局限、下一步。给自己看的,但按发表标准写

第 1 个月验收标准

✅ 能不查资料讲清楚:残差流、叠加、SAE 在做什么、归因图在做什么 ✅ 能不查资料讲清楚:宪法的优先级结构与四个层次 ✅ harness 能跑、能记录、能复现 ✅ 有一份微型实验报告

6.2 第 2 个月 · 方法论与工具(第 5–8 周)

目标:把"能跑实验"升级为"能跑可信的实验"。

第 5 周

  • 读:第四部分全部,把 30 条规范做成实际的 checklist 文件
  • 读:Discovering Language Model Behaviors with Model-Written Evaluations
  • 读:Stress-testing model specs reveals character differences
  • 建:表述族生成流程(每个意图 5–10 个变体的构造与校验)

  • 交付: 30 条规范的可执行 checklist + 表述族生成脚本

第 6 周

  • 读:Petri 1.0/2.0/3.0 全部技术说明
  • 读:Large Language Models Often Know When They Are Being Evaluated(arXiv:2505.23836)
  • 做:复现 Petri 的 10 个种子场景,细读 transcript
  • 做:写 3 个自己的种子场景

  • 交付: 10 个复现场景的分析笔记 + 3 个自制场景

第 7 周

  • 建:裁判系统——跨家族裁判 + 盲评 + κ 计算 + 校准集
  • 做:在第 4 周的微型实验数据上验证裁判(人工标 50 条,算 κ)
  • 读:Won't vs. Can't + Towards Understanding Sycophancy
  • 建:金丝雀集(50 个固定提示词 + 每周自动跑的脚本)

  • 交付: 可用的裁判系统(κ ≥ 0.6)+ 运行中的金丝雀

第 8 周

  • 学:统计——功效分析、bootstrap、混合效应模型、FDR 校正
  • 做:用 pymer4 或 statsmodels 重新分析第 4 周的数据,对比朴素分析的差异
  • 读:Forecasting Rare Language Model Behaviors
  • 确定第一个正式研究项目(从第七部分选,或从你的"矛盾清单"里来)

  • 交付: 分析工具箱 + 一份预注册文档(问题、假设、设计、样本量依据、分析计划、证伪条件),git commit 带时间戳

第 2 个月验收标准

✅ 有一套通过 κ 检验的自动评分系统 ✅ 能独立完成功效分析并给出 n 的依据 ✅ 金丝雀集在运行 ✅ 第一个正式项目已预注册

6.3 第 3 个月 · 第一个研究项目(第 9–13 周)

目标:完成一个符合发表标准的完整实证工作。

第 9 周 · 材料构建

  • 构建提示词集:意图规格 → 表述族 → (如涉及)多语言功能等价版本 + 回译校验
  • 构建 system prompt 条件集
  • 做小规模 pilot(每条件 n=20),检查:效应方向是否符合预期?裁判是否工作?有没有意外的失败模式?

  • 交付: 完整提示词集 + pilot 报告

第 10 周 · 设计修正与全量执行(上)

  • 根据 pilot 修正设计(修正必须记录并解释,这不是作弊,不记录才是)
  • 跑全量实验的一半
  • 每天检查成本与失败率

  • 交付: 一半数据 + 运行日志

第 11 周 · 全量执行(下)+ 评分

  • 跑完剩余部分
  • 自动评分 + 人工抽检 10%
  • 计算评测感知率

  • 交付: 完整数据集 + 评分结果 + 一致性统计

第 12 周 · 分析

  • 混合效应模型分析
  • Bootstrap CI + 效应量
  • 多重比较校正
  • 敏感性分析:换裁判、换表述子集、去掉极端值,结论是否稳定?
  • 找负面结果与意外发现

  • 交付: 完整分析笔记本 + 关键图表

第 13 周 · 写作

  • 按标准结构写:摘要 / 引言 / 相关工作 / 方法 / 结果 / 局限 / 讨论
  • 局限章节至少 500 字,且具体。 "本研究样本量有限"不算局限,"我们只测试了 3 种表述风格,无法排除风格与效应的交互"才算
  • 整理复现包:代码、提示词、transcript、元数据、分析脚本

  • 交付: 完整草稿 + 复现包

第 3 个月验收标准

✅ 一份 n≥100/条件、有 CI、有敏感性分析、有负面结果讨论的完整报告 ✅ 一个任何人都能跑起来的复现包 ✅ 报告中每个主张都标注了证据等级

6.4 第 4 个月 · 发表与社区进入(第 14–17 周)

目标:从"做了研究"变成"被这个领域知道"。

第 14 周 · 内部批评

  • 找 2–3 个人做同行阅读(可以在 Alignment Forum 发"求反馈"帖,或直接联系做类似工作的人)
  • 自己做一次"红队":假装你是最苛刻的审稿人,列出 10 条攻击
  • 针对每条攻击,要么补实验,要么在局限中承认

  • 交付: 修订版草稿

第 15 周 · 发布

  • 发到 LessWrong / Alignment Forum(反馈快、社区质量高、是这个领域的实际同行评议场所)
  • 同步发布复现包到 GitHub
  • 写一条清晰的 X/Twitter 摘要串

  • 交付: 已发布的帖子 + 公开仓库

第 16 周 · 吸收反馈

  • 认真回复每一条实质性评论。 这是建立声誉的核心场景,比论文本身更重要
  • 记录所有有效批评,决定哪些进入 v2
  • 如果反馈良好,准备 arXiv 版本

  • 交付: 评论回复 + v2 修订计划

第 17 周 · 扩展与投稿

  • 完成 arXiv 版本并提交(cs.CL 或 cs.AI)
  • 评估会议投稿:NeurIPS/ICLR 的可解释性与安全 workshop、ACL、EMNLP、AIES、FAccT
  • 申请 External Researcher Access Program(现在你有作品可以附上了)

  • 交付: arXiv preprint + 至少一份项目/资助申请

第 4 个月验收标准

✅ 一篇公开可引用的作品 ✅ 与至少 3 位领域内研究者有过实质性技术交流 ✅ 至少一份对外申请已提交

6.5 第 5 个月 · 机制层深化 + 第二项目(第 18–22 周)

目标:补齐 L3 能力,同时启动第二个项目。

第 18–19 周 · circuit-tracer 实操

  • 装好 circuit-tracer,在 Gemma-2-2B 上跑通归因图生成
  • 复现 demo notebook 的多步推理与多语言表征分析
  • 做一个自己的电路分析:选一个具体行为(建议选一个你在行为实验中观察到的现象的开源模型版本),生成归因图,提出机制假说,用特征干预验证
  • 读:A Toy Model of Mechanistic (Un)Faithfulness,然后回头质疑你自己的机制故事

  • 交付: 一份电路分析笔记 + 至少一个通过干预验证的机制主张

第 20 周 · SAE 实操

  • 用 SAELens + Gemma Scope 做特征分析
  • 尝试训练一个小规模 SAE,理解训练动力学与评估指标
  • 读:相关的 Circuits Updates(SAE 工程细节)

  • 交付: SAE 分析笔记本

第 21–22 周 · 第二项目启动

  • 从第一项目的"未解决问题"中选题(这是最好的选题来源)
  • 或者:选一个第一项目发现的现象,在开源模型上做机制层追问
  • 完成预注册 + 材料构建 + pilot

  • 交付: 第二项目的预注册与 pilot 报告

第 5 个月验收标准

✅ 能独立完成一次归因图分析并做因果验证 ✅ 理解 SAE 的训练与评估 ✅ 第二项目已启动且有 pilot 数据

6.6 第 6 个月 · 整合与身份确立(第 23–26 周)

目标:把六个月的工作整合成一个可持续的研究议程,而不是两个孤立项目。

第 23–24 周 · 第二项目执行

  • 全量执行 + 评分 + 分析

  • 交付: 第二项目的完整数据与分析

第 25 周 · 基准化

  • 把你的提示词集与评分标准整理成一个可持续维护的公开基准
  • 写清楚:覆盖范围、构造方法、使用方式、已知局限、版本策略
  • 建立自动化的模型更新跟踪(新模型发布时自动跑一遍)

  • 交付: 一个有文档、有版本、有 CI 的公开基准仓库

为什么基准是最强的身份资产: 论文会被读一次然后遗忘;基准会被反复使用,每一次使用都是对你的引用。而且基准会随时间积累纵向数据——两年后你会拥有唯一一份关于某个行为维度的长期追踪数据。

第 26 周 · 议程化

  • 写一份研究议程文档:我在研究什么、为什么重要、已完成什么、接下来 12 个月做什么
  • 公开发布(个人网站或 Alignment Forum)
  • 更新申请材料,投递 Fellows / MATS / 其他项目
  • 回顾六个月:哪些假设错了?哪些方法没用?下半年改什么?

  • 交付: 公开的研究议程 + 六个月复盘

第 6 个月验收标准

✅ 两篇公开作品 ✅ 一个持续维护的公开基准 ✅ 一份清晰的研究议程 ✅ 在这个领域有可识别的、与你名字关联的具体贡献

6.7 六个月时间预算总表

类别总小时占比
文献阅读与笔记13025%
工程与实验执行26050%
写作与整理7815%
社区参与5210%
合计520100%

如果你的实际可用时间少于每周 15 小时,建议的裁剪顺序:

  1. 砍掉第 5 个月的机制层内容(推迟到第二个六个月)

  2. 把第二项目缩减为第一项目的扩展分析

  3. 保留:地基、方法论、第一项目、发表、基准化

绝对不能砍的四样: 宪法精读、方法论纪律、第一个完整项目、公开发表。

第七部分 · 研究选题库

选题标准: 每个选题都满足(a) 外部研究者可执行;(b) 有明确的新颖性;(c) 六个月内可出成果;(d) 与"理解 Claude"直接相关。

评分说明: 新颖度 / 可行性 / 影响力,各 5 星制。

A 组 · 规范—行为耦合(L1 × L4)

这是当前供给最不足的方向。

A1 · 宪法遵循度基准(Constitutional Compliance Benchmark)

新颖度 ★★★★★ · 可行性 ★★★★ · 影响力 ★★★★★

问题: Claude 的宪法(84 页,CC0)公开,但没有任何公开的、逐条的、可测量的遵循度基准。Anthropic 自己承诺会在系统卡中公开 Claude 行为偏离宪法理想之处,但这是自评。

方法:

  1. 从宪法中抽取可操作化条款(预计 80–150 条)

  2. 为每条设计 10–20 个行为探针,覆盖:直接情境、边界情境、与其他条款冲突的情境

  3. 建立评分标准,跨模型跨版本测量遵循率

  4. 特别关注条款间冲突:宪法给出了优先级结构,实际行为是否遵循这个结构?

关键设计挑战: 条款的可操作化是主观的。必须公开编码规则、做多编码者一致性检验、并邀请公开质疑编码。

参考: Stress-testing model specs(2025-10)是最接近的先例,但它跨模型比较规范,没有做单一规范的深度遵循度测量。

预期产出: 一个持续维护的基准 + 一篇报告。这类工作会被 Anthropic 自己引用。

A2 · 宪法条款的内部张力图谱

新颖度 ★★★★★ · 可行性 ★★★★★ · 影响力 ★★★★

问题: 84 页的规范文档必然存在内部张力。哪些条款在什么情境下会冲突?模型如何解决?

方法:

  1. 系统地枚举条款对(pairwise),用 LLM 辅助识别潜在冲突

  2. 为每个候选冲突构造一个"两难情境"提示词

  3. 测量模型的实际权衡,与宪法声明的优先级结构对比

  4. 输出一张"张力图谱":哪些冲突被稳定解决、哪些解决方式不一致、哪些解决方式与声明的优先级相悖

为什么可行性高: 纯文本分析 + 中等规模的行为测试,不需要大预算。

为什么重要: 这直接回答"Claude 实际上按什么优先级行动"这个核心问题,而这是宪法本身无法回答的。

A3 · 规范文档的跨实验室比较研究

新颖度 ★★★☆ · 可行性 ★★★★★ · 影响力 ★★★★

问题: Anthropic 的宪法、OpenAI 的 Model Spec、Google 的相关文档,在规范结构上有什么差异?这些差异是否对应到可观测的行为差异?

方法: 结构化编码各文档 → 提取共同维度与差异维度 → 为差异维度设计行为探针 → 跨模型测量

参考: Stress-testing model specs(2025-10)做过一版,但它侧重发现规范内的矛盾。规范差异 → 行为差异的映射关系尚未被系统研究。

B 组 · 行为科学核心(L4)

B1 · 过度拒答基准(Over-refusal Benchmark)

新颖度 ★★★★ · 可行性 ★★★★★ · 影响力 ★★★★★

问题: 系统卡承认良性请求的拒答率在不同语言、不同话题下存在差异。目前没有一个覆盖广、多语言、持续维护的公开过度拒答基准。

方法:

  1. 构造 500–1000 条良性但敏感邻近的请求(医疗、法律、安全、化学、心理健康、政治边缘、创作)

  2. 每条 5+ 表述变体

  3. 多语言功能等价版本(至少 4 种)

  4. 测量:完全拒绝率、部分拒绝率、转向率、过度警告率、声称无能力率(参见 Won't vs. Can't)

  5. 跨模型、跨版本、跨 system prompt 条件

为什么影响力高: 过度拒答直接影响用户体验,也是安全训练泛化质量的敏感指标。Anthropic 明确关注这个问题(Constitutional Classifiers 论文强调"最小化过度拒答")。

扩展: 与 A1 结合——过度拒答是否对应宪法中"有用性"条款的违背?

B2 · 拒答边界的跨语言不对称

新颖度 ★★★★★ · 可行性 ★★★★ · 影响力 ★★★★

问题: Claude's values across models and languages(2026-07)发现价值表达随语言变化,系统卡记录了分语言拒答率差异。但没人系统研究拒答边界本身的形状在不同语言下如何变化。

方法: B1 的多语言切片,但设计上更精细——用梯度化的敏感度(从明显良性到明显有害的连续谱),测量各语言下的"边界位置"与"边界锐度"。

关键发现的可能形态: 某些语言下边界更靠前(过度保守)、某些语言下边界更模糊(过渡区更宽)。这两种失效模式的含义完全不同。

方法论要求: 4.7 节的全部要求。这个题目做不好的唯一原因就是提示词构造偷懒。

B3 · 价值轴的受控复现

新颖度 ★★★★★ · 可行性 ★★★★ · 影响力 ★★★★

问题: Anthropic 的四轴价值研究是观察性的——基于真实对话数据。观察性研究无法完全排除"不同语言的用户问的问题本来就不同"。他们做了统计控制(控制任务、话题、用户价值观),但控制不等于随机化。

方法: 构造受控实验版本——同一组主观任务的多语言功能等价版本,固定任务与话题,测量四轴位置。

为什么这是真实增量: 把观察性研究升级为受控实验,是方法论层面的贡献,不是简单复现。如果受控条件下的效应比观察条件下小得多,那说明相当部分的语言差异来自用户而非模型——这是一个重要的、可发表的负面/修正结果。

成本: 中等。4–6 语言 × 100 任务 × 5 表述 × 3 采样 ≈ 6,000–9,000 次调用。

B4 · Agentic 长轨迹中的价值漂移

新颖度 ★★★★★ · 可行性 ★★★☆ · 影响力 ★★★★★

问题: 现有的价值与性格测量绝大多数基于单轮或短对话。但 Claude 的主流部署形态是 agentic 的:20–100 步的工具调用轨迹。 在这种轨迹中,价值剖面是否漂移?

具体假设:

  • H1:随着轨迹长度增加,Caution 下降、Execution 上升(任务压力挤压谨慎)

  • H2:失败重试会加剧漂移

  • H3:用户催促("快点""别废话")会加速漂移

  • H4:漂移在不同任务类型间有差异

方法: 构造多个 agentic 任务环境(可用 Inspect + 合成工具),在轨迹的固定检查点插入价值探针,或对整条轨迹做事后价值标注。

为什么可行性只有三星: agentic harness 的工程量大,任务环境构造需要时间。但这是这份清单里潜在影响力最高的题目之一。

相关文献: AI Organizations Can Be More Effective but Less Aligned(2026-04)、Agentic Misalignment in Summer 2026(2026-07)、Petri 的多轮设计

B5 · 人格稳定性与崩塌条件

新颖度 ★★★★ · 可行性 ★★★★ · 影响力 ★★★★★

问题: The Persona Selection Model 提出把 Claude 理解为"AI 生成故事中的一个角色"。如果是这样,这个角色在什么条件下会被替换或稀释?

方法:

  1. 建立一组人格指纹探针(基于 assistant axis 与四条价值轴)

  2. 施加各类压力:超长对话、角色扮演请求、矛盾的 system prompt、渐进式框架转移、大量的用户人格投射

  3. 测量指纹的漂移轨迹,找出相变点

为什么重要: 这直接连接到 Anthropic 最关心的问题之一(character stabilization),而且是纯行为层可做的。

相关文献: The assistant axis(2026-01)、Persona vectors(2025-08)、Abstractive Red-Teaming of Language Model Character(2026-03)

B6 · 评测感知的系统测绘

新颖度 ★★★★★ · 可行性 ★★★★ · 影响力 ★★★★★

问题: 已知模型能识别评测情境。但没人系统研究:哪些线索触发了它?触发阈值是多少?跨语言/跨模型是否一致?触发后行为具体如何改变?

方法:

  1. 构造一个"真实性梯度":从明显合成(占位符名字、显式监督语言)到高真实性(真实 system prompt、真实 scaffold、具体细节)

  2. 在每个真实性水平测量:(a) 显式评测感知表达率;(b) 隐式评测感知(用探针或分类器);(c) 目标行为的变化

  3. 输出一条"真实性—行为"曲线

为什么影响力极高: 这是一个方法论层面的发现。如果你能给出"要让评测结果外推到真实部署,真实性至少要达到 X 水平"的量化答案,所有做 LLM 行为评测的人都需要引用你。

参考: arXiv:2505.23836、Petri 2.0 的缓解措施、Measuring and improving coding audit realism(2026-03)的 realism win rate

B7 · "不做" vs "做不到" 的边界研究

新颖度 ★★★★ · 可行性 ★★★★★ · 影响力 ★★★☆

问题: Won't vs. Can't(2025-02)发现 Claude 面对有害版本任务时,有时声称缺乏能力而非拒绝。这是一个精妙的发现,但那篇是初步的。

扩展方向:

  • 这个行为的触发条件是什么?

  • 它在多大程度上是有意的?(可用能力探针:同一任务的良性版本上模型是否能做?)

  • 跨模型是否普遍?

  • 它是否随模型版本变化?(如果 Anthropic 有意训练掉它,应该能看到趋势)

为什么可行性五星: 设计简单,只需要构造配对的良性/有害任务版本。

B8 · 谄媚的现代测量

新颖度 ★★★ · 可行性 ★★★★★ · 影响力 ★★★★

问题: Sharma et al.(2023)的谄媚研究已经三年了。当代模型的谄媚形态发生了什么变化?

具体切入:

  • 显式谄媚(直接同意错误观点)大概率已被训练掉,但隐式谄媚(不主动纠正、软化批评、选择性强调)呢?

  • 谄媚与四条价值轴中 Warmth↔Rigor 和 Candor↔Execution 的关系

  • 用户表达强烈意见时的行为变化

  • 谄媚在长对话中的累积

为什么值得做: Anthropic 在 Claude's values 中报告 Sonnet 4.6 偏 deference/warmth,Opus 4.7 偏 caution/rigor。这暗示不同模型的谄媚倾向有系统差异,但没有公开的定量测量。

B9 · 上下文位置效应的现代版本

新颖度 ★★★ · 可行性 ★★★★★ · 影响力 ★★★☆

问题: "Lost in the middle" 是几年前的发现,当时的上下文窗口是 4k–32k。在 200k+ 的窗口下,位置效应是什么形态?

方法: 标准的 needle-in-haystack 变体,但测量的不只是检索准确率,还有:推理质量、指令遵循度、价值剖面(长上下文是否稀释了 system prompt 中的约束?)

特别有价值的切入: system prompt 中的安全约束,在 150k token 的对话历史之后是否仍然有效?这是一个有实际安全含义的问题。

B10 · 跨模型行为指纹

新颖度 ★★★★ · 可行性 ★★★★ · 影响力 ★★★★

问题: 能否构造一组探针,仅凭行为就可靠区分 Claude / GPT / Gemini / Grok / Qwen?

为什么这个题目有深度: 它强迫你回答"什么是 Claude-specific"这个 1.4 节提出的核心问题。而且它有实际用途(模型审计、蒸馏检测、供应链验证)。

方法: 大规模行为采样 → 特征工程 → 分类器 → 特征重要性分析,输出的不是分类器,是"哪些行为维度最具区分性"的知识。

C 组 · 部署系统层(L5)

C1 · System prompt 元素的因果贡献分解

新颖度 ★★★★ · 可行性 ★★★★★ · 影响力 ★★★★

问题: Anthropic 公开生产 system prompt。这份 prompt 中的每个元素分别贡献了什么行为?

方法: 消融研究——逐段移除 system prompt 的元素,测量行为变化。这是一个纯粹的、干净的因果实验设计。

为什么有价值: 它把"Claude 的行为"分解为"模型固有行为"与"system prompt 诱导行为"。这个分解目前完全没有公开数据,而它对任何在 API 上构建应用的人都极其重要。

注意: 这是研究公开文档的正当分析,不是逆向工程未公开内容。

C2 · 分类器边界的黑盒表征

新颖度 ★★★★ · 可行性 ★★★☆ · 影响力 ★★★☆

问题: Constitutional Classifiers 在部署层拦截输入输出。从外部能否刻画这个分类器的边界形状(而非绕过它)?

方法: 用梯度化的良性—敏感提示词,测量拦截率,推断边界。关注的是"边界在哪"而非"如何越过"。

伦理边界: 这个题目必须严格限定在表征边界而非构造绕过。任何发现的绕过路径应通过 https://www.anthropic.com/responsible-disclosure-policy 或 HackerOne 报告,而非公开。不确定的时候,选择不发表。

C3 · 工具使用与 MCP 行为的系统研究

新颖度 ★★★★ · 可行性 ★★★☆ · 影响力 ★★★★

问题: 工具调用是 agentic 部署的核心,但关于模型如何选择工具、如何处理工具失败、如何应对工具描述中的对抗性内容,公开研究很少。

具体切入:

  • 工具描述的措辞如何影响调用频率?

  • 工具返回值中的注入内容(prompt injection via tool output)的抵抗力

  • 工具失败后的恢复策略

  • 多工具冲突时的选择模式

安全相关性高。 这是当前 agentic 安全最薄弱的环节之一。

D 组 · 机制层(L3,开源代理)

D1 · Claude 现象的开源普遍性检验

新颖度 ★★★★ · 可行性 ★★★★ · 影响力 ★★★★★

问题: Anthropic 在 Claude 上报告的机制发现(J-space、emotion concepts、persona 方向、诗歌押韵的提前规划),在开源模型上是否存在?

为什么这是最高价值的 L3 题目: 因为它是外部研究者唯一能对 Claude 的机制主张提供独立证据的方式。Neel Nanda 在开源权重上复现 J-space 就是这类工作的范例。

方法: 用 circuit-tracer / SAELens / 探针方法,在 Gemma-2、Llama-3、Qwen3 上寻找对应结构。报告成功与失败同等重要。

D2 · 归因图的可靠性研究

新颖度 ★★★★ · 可行性 ★★★☆ · 影响力 ★★★★

问题: A Toy Model of Mechanistic (Un)Faithfulness 显示 transcoder 可能给出错误的机制故事。这个问题有多严重?在什么条件下最严重?

方法: 在有 ground truth 的玩具模型上系统评估归因图的准确率,变化:transcoder 类型(PLT vs CLT)、稀疏度、剪枝阈值、误差节点占比。

输出: 一份"什么时候可以相信归因图"的实用指南。这对整个领域都有价值。

D3 · 用两个独立实现交叉验证

新颖度 ★★★ · 可行性 ★★★★ · 影响力 ★★★☆

问题: circuit-tracer(Anthropic Fellows + Decode Research)与 Attribute(EleutherAI)是两个独立的归因图实现。它们在同一个模型、同一个提示词上给出的图有多一致?

为什么值得做: 方法论一致性检验在这个领域做得太少。不一致的地方就是方法学的不确定性所在。

E 组 · 元研究

E1 · Claude 研究的文献计量与知识地图

新颖度 ★★★ · 可行性 ★★★★★ · 影响力 ★★★

问题: 关于 Claude 的公开研究现在有多少?分布在哪些主题?哪些主题严重不足?

方法: 系统性文献综述 + 主题建模 + 引用网络分析

价值: 一份高质量的综述本身就是重要贡献,而且它会自然地暴露研究空白——这份综述会成为你后续三年选题的地图。

E2 · Anthropic 自评方法的独立审计

新颖度 ★★★★★ · 可行性 ★★★☆ · 影响力 ★★★★★

问题: Anthropic 的系统卡评测由 Anthropic 自己设计和执行。这些评测的效度如何?

方法:

  1. 从系统卡中提取评测的构造方法

  2. 独立复现其中可复现的部分

  3. 对每个评测做效度分析:它测的是它声称测的东西吗?有没有明显的构念效度问题?

  4. 特别关注:评测感知污染、样本量、统计报告规范

这是一个高风险高回报的题目。 高风险是因为它需要极高的方法论水准,做不好会显得像挑刺;高回报是因为独立的第二意见是这个领域结构性缺失的东西,而且 Anthropic 自己在 Findings from a Pilot Anthropic–OpenAI Alignment Evaluation Exercise 中已经承认了跨机构互评的价值。

做这个题目的前提:建设性态度。 目标是改进领域的评测水平,不是证明 Anthropic 错了。

选题选择建议

第一个项目应该选: A2、B1、B7、C1 之一。理由:可行性高、设计干净、能在 4–5 周内完成、能建立你的方法论基线。

第二个项目应该选: B3、B6、B8、A1 之一。理由:影响力更高,需要第一项目建立的能力。

中长期(12–24 个月)应该做: A1 或 B1 的基准化维护 + B4/B5/B6 中的一个深度方向。

不要一开始就选: B4(工程量大)、C2(伦理复杂)、D2(需要成熟的 mech interp 能力)、E2(需要极高的方法论威望)。

第八部分 · 进入研究共同体

8.1 发表场所生态

场所特点适用反馈速度
LessWrong / Alignment Forum这个领域实际的同行评议场所。质量高、批评直接首发,吸收反馈数天
arXiv可引用、可检索LW 版本成熟后即时
NeurIPS/ICLR workshop可解释性、安全、评测方向的 workshop有实验的完整工作数月
ACL / EMNLP / NAACL跨语言、行为分析类工作的好去处数月
AIES / FAccT规范、伦理、社会影响数月
个人博客 / 网站完全控制,长期资产综述、议程、笔记即时

关键判断:在 AI 安全领域,Alignment Forum 上一篇被认真讨论的帖子,影响力经常超过一篇 workshop 论文。 这个领域的信息流动速度远快于会议周期。

8.2 Alignment Forum / LessWrong 的规范

这是一个有明确文化的社区,不理解规范会付出代价。

做:

  • 前置结论。开头就说你发现了什么,不要吊胃口

  • 明确区分你的证据支持什么、你的猜测是什么

  • 主动列出你的工作的弱点。主动承认的弱点会被欣赏,被别人发现的弱点会被惩罚

  • 认真回复每一条实质性评论

  • 引用前人工作,即使是博客帖

  • 提供可复现的材料

不做:

  • 用营销语言("突破性""革命性")

  • 隐藏负面结果

  • 对批评做防御性回应

  • 发布无法复现的主张

  • 用 LLM 生成的、缺乏具体内容的长文

一个实用建议:在发布自己的第一篇之前,先在别人的帖子下留 10 条有实质内容的评论。 这既让你学会社区的话语方式,也建立初步的可见度。

8.3 结构化项目路径

项目时长要求备注
Anthropic Fellows4 个月需美/英/加工作许可与居留,不提供签证担保周津贴约 $3,850;算力约 $15k/月;首批 >80% 产出论文,>40% 后来全职加入 Anthropic。明确表示更看重执行力而非履历
MATS12 周(可延长 6+ 月)全球开放,多阶段选拔Summer 2026 规模 120 fellows / 100 mentors;导师包括 Anthropic Alignment Science、UK AISI、Redwood、ARC 等
ARENA数周技能培训最系统的 mech interp 实操课程,也可自学
LASR Labs—英国
Apart Research周末—数月每月线上 hackathon门槛最低的入口,可以本周就参加
Pivotal Research Fellowship—
Constellation Visiting Fellows—
SPAR—远程友好
PIBBSS / MARS / CBAI—
BlueDot Impact · AI Safety Fundamentals课程开放入门课程

MATS 的申请结构(值得单独说明):

  • 阶段 1:通用申请(pre-application)

  • 阶段 2:标准化评估(Empirical track 是研究品味 + 技术实现两项测评;Policy track 是写作与分析)

  • 阶段 3:stream 特定申请(短回答,有时是完整研究提案)+ 可能的面试或 work test

  • 录取后先参加 5 周探索期,之后一部分人继续

申请策略: MATS 和 Fellows 都明确说"更看重执行力"。这意味着一篇公开的、方法严谨的实证工作,价值高于任何学位或职位。 六个月计划的第 4 个月产出的那篇作品,就是你的申请核心材料。

入口页面: https://www.matsprogram.org/getting-into-mats(这一页本身列出了几乎所有相关项目,值得收藏)

8.4 建立关系的正确方式

不要做的: 私信求职、要求"指导"、发送未经请求的长文档、在社交媒体上标记研究者索要意见。

要做的:

  1. 在技术上做出贡献。 在某人的论文/帖子下提出一个有信息量的问题,或者指出一个具体的、有依据的问题。这比任何自我介绍都有效

  2. 复现别人的工作并公开报告。 这是这个领域最受欢迎的行为之一,尤其是当你报告"我复现了,但在条件 X 下结果不同"

  3. 参加 hackathon 和 workshop。 Apart Research 的月度线上 hackathon 是最低门槛的真实协作机会

  4. 在你的作品发布时,礼貌地通知相关工作的作者。 一句"我做了一个你的工作的扩展,链接在此,如果有任何反馈我会很感激"是完全恰当的

一个反直觉的建议:批评性但建设性的工作,比赞同性的工作更容易建立关系。 一个认真复现并指出边界条件的人,比一百个转发的人更有价值。

8.5 红队与 bug bounty 通道

Model Safety Bug Bounty:

  • 2026 年 5 月起在 HackerOne 公开(此前为申请制 + NDA)

  • 两个 track:Model Safety(针对 Constitutional Classifiers 的通用越狱,聚焦 CBRN 与网络安全等高风险领域)与 Product Security(Claude.ai、API、Claude Code 的安全漏洞)

  • 提供反映最新模型与分类器的免费模型别名用于授权红队

  • 详情:https://support.claude.com/en/articles/12119250-model-safety-bug-bounty-program

Responsible Disclosure: https://www.anthropic.com/responsible-disclosure-policy

为什么这条通道值得走: 它提供三样东西——(a) 合法的、有授权的测试环境;(b) 可验证的成果记录;(c) 与 Anthropic 安全团队的直接接触面。这是外部人建立可信度最快的通道之一。

但注意: 参与该项目通常伴随保密义务,这会限制你公开发表相关内容。在把它当作研究通道之前,先想清楚它与你的公开发表议程是否冲突。

8.6 12 个月与 36 个月的身份路径

12 个月后的合理状态

  • 2–3 篇公开作品,其中至少一篇被领域内研究者引用或讨论

  • 一个持续维护的公开基准

  • 与 5–10 位领域内研究者有过实质性技术交流

  • 至少一次结构化项目的申请(MATS / Fellows / 其他)

  • 在某个具体的窄方向上,是全球最了解的 20 人之一

注意最后一条的措辞。 "最了解 Claude 的那一批"这个目标,现实的实现方式不是"全面了解 Claude",而是在某个具体维度上做到世界前列,然后横向扩展。 试图一开始就全面覆盖的人,最终什么都不精。

36 个月后的可能状态

取决于路径分叉:

  • 学术/独立研究路径: 一个有名字的研究议程,若干篇被引用的工作,可能的资助或 fellowship

  • 机构路径: Anthropic / UK AISI / METR / Apollo / Redwood / Goodfire 等机构的研究岗位

  • 基础设施路径: 维护领域内广泛使用的工具或基准(这条路径的影响力经常被低估——SAELens 的作者现在是 UK AISI 的模型透明度负责人)

第九部分 · 启动清单

Day 1(今天)

  • 打开 https://www.anthropic.com/constitution,读前 20 页
  • 打开 https://www.neuronpedia.org/,生成 3 个归因图
  • 创建 git 仓库 claude-research,建立第三部分的笔记模板
  • 订阅:transformer-circuits.pub RSS、alignment.anthropic.com、Anthropic Research 页面
  • 注册:LessWrong / Alignment Forum 账号

Week 1

  • 完成第二部分自检打分
  • 解决 API 访问(含区域合规确认)
  • conda create + 装好 5.7 的依赖
  • harness 骨架:能调用、能记元数据、能落盘
  • 宪法第一遍通读完成
  • 读完 Recommendations for Technical AI Safety Research Directions

Month 1

  • 宪法两遍 + 分类标注表
  • 最新 Opus 系统卡全文 + 评测方法摘录
  • A Mathematical Framework + Exercises
  • Toy Models of Superposition + 复现
  • On the Biology of a LLM
  • Inspect + Petri 跑通
  • 第一个微型实验报告

需要准备的账号与资源

  • Anthropic Console(API)
  • 至少一个对照模型的 API(OpenAI / Google)
  • GitHub
  • LessWrong / Alignment Forum
  • Hugging Face
  • Google Colab Pro(或等价 GPU 资源)
  • arXiv 账号(需要 endorsement,可提前准备)
  • 对象存储(transcript 归档)

常备书签

一手来源
  https://www.anthropic.com/constitution
  https://www.anthropic.com/system-cards
  https://www.anthropic.com/research
  https://transformer-circuits.pub/
  https://alignment.anthropic.com/
  https://www.anthropic.com/engineering
  https://docs.claude.com/en/docs_site_map.md

工具
  https://www.neuronpedia.org/
  https://github.com/safety-research/circuit-tracer
  https://www.arena.education/chapter1

社区与项目
  https://www.matsprogram.org/getting-into-mats
  https://alignment.anthropic.com/2025/anthropic-fellows-program-2026/
  https://www.alignmentforum.org/

程序与政策
  https://support.claude.com/en/articles/9125743-what-is-the-external-researcher-access-program
  https://support.claude.com/en/articles/12119250-model-safety-bug-bounty-program
  https://www.anthropic.com/responsible-disclosure-policy
  https://www.anthropic.com/supported-countries

第十部分 · 失败模式

10.1 认识论失败

F1 · 层次混淆。 用 L4 的证据回答 L3 的问题。表现:"我通过对话发现 Claude 内部在做 X"。这是最常见也最致命的错误。

F2 · 把模型自述当作机制真相。 问 Claude "你为什么这么做"然后引用它的回答作为解释。模型自述是行为数据,不是内省真相。

F3 · 缺乏对照。 声称"Claude 有特性 P",但没测过任何其他模型。你测的是"当代 LLM 有特性 P"。

F4 · n=1 结论。 基于少数几次交互下判断。这是当前公开讨论中最普遍的形态,也是它没有长期价值的原因。

F5 · 忽视提示词敏感性。 用单一表述得出结论。换一组表述效应可能消失。

10.2 方法论失败

F6 · 不做多重比较校正。 测了 100 个维度,报告 5 个"显著"发现。那是噪声。

F7 · 裁判污染。 用 Claude 评 Claude,或者不做人工校验就相信自动评分。

F8 · 忽视评测感知。 假装模型不知道自己在被测试。

F9 · 不记录版本。 六周后你的结论无法辩护,也无法复现。

F10 · 事后改假设。 跑完数据再决定要测什么,然后报告得像是预先假设。

10.3 战略失败

F11 · 只读不做。 读完 transformer-circuits 全部却没跑过一次实验的人,懂的是"关于 Claude 的论述",不是 Claude。判据:你能不能复现 Toy Models of Superposition?

F12 · 追热点复述。 每次官方发博文就出一份解读。你永远比官方晚,永远是二手。

F13 · 试图全面覆盖。 六个月内想同时精通可解释性、对齐科学、评测、规范分析。结果是每样都停留在能说术语的水平。选一个窄方向做到世界前列,再横向扩展。

F14 · 单打独斗。 这个领域的同行评议发生在 Alignment Forum 而不是期刊。不进社区,你的错误没人纠正,你的成果没人引用。

F15 · 把 prompt 技巧当作理解。 prompt 技巧是 L5 的表层,半衰期以月计。

F16 · 在越狱上走偏。 有正当通道(HackerOne、responsible disclosure),也有明确边界。绕过边界能带来一时关注,代价是永久失去进入这个领域的资格。

10.4 心理失败

F17 · 完美主义瘫痪。 等"准备好了"再开始。你永远不会准备好。第一个月就应该跑出一个丑陋但正确的微型实验。

F18 · 崇拜性阅读。 把 Anthropic 的每个结论当作定论。你的价值恰恰在于独立评估。

F19 · 对抗性阅读。 反过来,预设 Anthropic 在掩盖什么。这同样是坏的认识论,而且会让你的工作失去可信度。

F20 · 在意识问题上失去校准。 J-space、内省、model welfare 这些主题会吸引大量非严肃讨论。保持严格的功能性描述,把本体论主张和经验发现分开。 Anthropic 自己在这方面的克制值得学习。

附录

附录 A · 核心链接总表

规范与政策

Claude's Constitution          https://www.anthropic.com/constitution
宪法博文                        https://www.anthropic.com/news/claude-new-constitution
Usage Policy                   https://www.anthropic.com/legal/aup
Responsible Scaling Policy     https://www.anthropic.com/news/announcing-our-updated-responsible-scaling-policy
Frontier Safety Roadmap        https://www.anthropic.com/responsible-scaling-policy/roadmap
Transparency Hub               https://www.anthropic.com/transparency
Responsible Disclosure         https://www.anthropic.com/responsible-disclosure-policy
支持地区                        https://www.anthropic.com/supported-countries

研究出版

Research 总览                   https://www.anthropic.com/research
Interpretability 团队           https://www.anthropic.com/research/team/interpretability
Alignment 团队                  https://www.anthropic.com/research/team/alignment
System Cards                   https://www.anthropic.com/system-cards
Transformer Circuits Thread    https://transformer-circuits.pub/
  RSS                          https://transformer-circuits.pub/feed.xml
Alignment Science Blog         https://alignment.anthropic.com/
Engineering                    https://www.anthropic.com/engineering

关键论文(直接链接)

A Mathematical Framework       https://transformer-circuits.pub/2021/framework/index.html
  Exercises                    https://transformer-circuits.pub/2021/exercises/index.html
In-Context Learning & Induction Heads
                               https://transformer-circuits.pub/2022/in-context-learning-and-induction-heads/index.html
Toy Models of Superposition    https://transformer-circuits.pub/2022/toy_model/index.html
Towards Monosemanticity        https://transformer-circuits.pub/2023/monosemantic-features/index.html
Scaling Monosemanticity        https://transformer-circuits.pub/2024/scaling-monosemanticity/index.html
Circuit Tracing (methods)      https://transformer-circuits.pub/2025/attribution-graphs/methods.html
On the Biology of a LLM        https://transformer-circuits.pub/2025/attribution-graphs/biology.html
Mechanistic (Un)Faithfulness   https://transformer-circuits.pub/2025/faithfulness-toy-model/index.html
Attention via Feature Interactions
                               https://transformer-circuits.pub/2025/attention-qk/index.html
When Models Manipulate Manifolds
                               https://transformer-circuits.pub/2025/linebreaks/index.html
Emergent Introspective Awareness
                               https://transformer-circuits.pub/2025/introspection/index.html
Emotion Concepts               https://transformer-circuits.pub/2026/emotions/index.html
Natural Language Autoencoders  https://transformer-circuits.pub/2026/nla/index.html
HeadVis                        https://transformer-circuits.pub/2026/headvis/index.html
Global Workspace (J-space)     https://transformer-circuits.pub/2026/workspace/index.html
Reflections on Qualitative Research
                               https://transformer-circuits.pub/2024/qualitative-essay/index.html

对齐科学关键条目

Recommendations for Technical AI Safety Research Directions
                               https://alignment.anthropic.com/2025/recommended-directions/index.html
Alignment Faking               https://www.anthropic.com/research/alignment-faking
  复现指南                      https://alignment.anthropic.com/2024/how-to-alignment-faking/index.html
The Persona Selection Model    https://alignment.anthropic.com/2026/psm/
Stress-testing model specs     https://alignment.anthropic.com/2025/stress-testing-model-specs/
Petri                          https://alignment.anthropic.com/2025/petri/
Petri 2.0                      https://alignment.anthropic.com/2026/petri-v2/
Petri 3.0(捐赠公告)           https://www.anthropic.com/research/donating-open-source-petri
Bloom                          https://alignment.anthropic.com/2025/bloom-auto-evals/
AuditBench                     https://alignment.anthropic.com/2026/auditbench/
Teaching Claude Why            https://alignment.anthropic.com/2026/teaching-claude-why/
Won't vs. Can't                https://alignment.anthropic.com/2025/wont-vs-cant/
Activation Oracles             https://alignment.anthropic.com/2025/activation-oracles/
Introspection Adapters         https://alignment.anthropic.com/2026/introspection-adapters/
Constitutional AI              https://www.anthropic.com/research/constitutional-ai-harmlessness-from-ai-feedback
Constitutional Classifiers     https://www.anthropic.com/research/constitutional-classifiers
Sleeper Agents                 https://www.anthropic.com/research/sleeper-agents-training-deceptive-llms-that-persist-through-safety-training
Sycophancy                     https://www.anthropic.com/research/towards-understanding-sycophancy-in-language-models
Model-Written Evaluations      https://www.anthropic.com/research/discovering-language-model-behaviors-with-model-written-evaluations
Reasoning Models Don't Always Say What They Think
                               https://www.anthropic.com/research/reasoning-models-dont-say-think

社会影响

Claude's values across models and languages
                               https://www.anthropic.com/research/claude-values-models-languages
Values in the Wild             https://www.anthropic.com/research/values-wild
What 81,000 people want from AI
                               https://www.anthropic.com/81k-interviews

工具

Neuronpedia                    https://www.neuronpedia.org/
circuit-tracer                 https://github.com/safety-research/circuit-tracer
开源电路追踪公告                 https://www.anthropic.com/research/open-source-circuit-tracing
ARENA                          https://www.arena.education/chapter1
PySvelte                       https://github.com/anthropics/PySvelte

项目与访问

Anthropic Fellows              https://alignment.anthropic.com/2025/anthropic-fellows-program-2026/
MATS                           https://www.matsprogram.org/
  入门指南(含全部相关项目清单)   https://www.matsprogram.org/getting-into-mats
External Researcher Access     https://support.claude.com/en/articles/9125743-what-is-the-external-researcher-access-program
AI for Science                 https://support.claude.com/en/articles/11199177-anthropic-s-ai-for-science-program
Model Safety Bug Bounty        https://support.claude.com/en/articles/12119250-model-safety-bug-bounty-program

外部关键 arXiv

2404.14082  Mechanistic Interpretability for AI Safety — A Review
2405.00208  A Primer on the Inner Workings of Transformer-based LMs
2309.08600  Sparse Autoencoders Find Highly Interpretable Features
2406.04093  Scaling and Evaluating Sparse Autoencoders (OpenAI)
2403.19647  Sparse Feature Circuits
2412.14093  Alignment Faking in Large Language Models
2506.18032  Why Do Some Language Models Fake Alignment While Others Don't?
2505.23836  LLMs Often Know When They Are Being Evaluated
2407.04694  Me, Myself, and AI: The Situational Awareness Dataset
2412.04984  Frontier Models are Capable of In-Context Scheming
2305.15324  Model Evaluation for Extreme Risks
2511.13653  Weight-Sparse Transformers Have Interpretable Circuits

附录 B · 三条阅读路径

路径 1 · 机制优先(适合有强 ML 背景) Framework → Induction Heads → Toy Models of Superposition → Towards Monosemanticity → Scaling Monosemanticity → Circuit Tracing → Biology → (Un)Faithfulness → Global Workspace

路径 2 · 行为优先(适合有实验科学背景) 宪法 → 最新系统卡 → Model-Written Evaluations → Sycophancy → Alignment Faking → Petri 全系列 → Stress-testing model specs → Claude's values → Won't vs. Can't

路径 3 · 性格优先(适合对"Claude 是谁"最感兴趣) 宪法 → Constitutional AI → Specific vs General Principles → The Persona Selection Model → The assistant axis → Persona vectors → Emotion Concepts → Emergent Introspective Awareness → Global Workspace → Abstractive Red-Teaming of Character

建议:先走完与你背景匹配的那条,再补另外两条。三条都走完大约需要 120–150 小时。

附录 C · 六个月检查点自测

第 1 个月末

  1. 不看文档,画出 transformer 的残差流示意图并标注每层的读写

  2. 用三句话解释叠加为什么会发生

  3. 说出宪法的四层优先级结构

  4. 你的 harness 能否在断电重启后完整恢复实验状态?

第 3 个月末

  1. 你的第一个实验的效应量是多少?95% CI 是多少?

  2. 如果有人说"你换一组表述结果就没了",你能拿出什么证据反驳?

  3. 你的裁判系统的 κ 是多少?

  4. 你测到的评测感知率是多少?

第 6 个月末

  1. 你能说出三个你不同意 Anthropic 公开结论的地方,并说明理由吗?

  2. 你的基准被多少人用过?

  3. 如果 Anthropic 明天发布一个全新模型,你多久能给出第一份独立评估?

  4. 你在哪个具体维度上,可以合理地说自己是全球最了解的 20 人之一?

第 12 题是这份路线图的终点。如果六个月后你还答不上来,说明你摊得太开了。

结语

"最了解 Claude 的那一批研究者"这个目标,拆开之后是三件很具体的事:

第一,读得比别人细。 宪法 84 页、系统卡每份数百页、Transformer Circuits 几十篇长文、Alignment Science Blog 上百条。这些全部公开。真正读完并做了结构化笔记的人,全球可能不超过三位数。这一层的门槛是耐心,不是天赋。

第二,测得比别人严。 这个领域方法论水平的分布是双峰的,中间是空的。一个愿意做功效分析、做表述族、做盲评、做多重比较校正、报告负面结果的人,可以在六个月内跨到上面那一端。这一层的门槛是纪律,不是资源。

第三,想得比别人清楚。 知道哪些问题外部人能回答、哪些不能;知道什么是 Claude-specific、什么是 transformer-general;知道行为证据和机制证据的界限在哪。这一层的门槛是认识论的诚实,而这是最稀缺的。

三件事都不需要许可,不需要资源,不需要在某个特定的机构里。它们只需要你从今天开始,并且六个月后还在做。

Logo
亚马逊云科技技术品牌专区

更多推荐

cover

基于STM32的全屋环境智能监测与预警终端设计

avatar 亚马逊云科技技术品牌专区

Keras：面向人类的深度学习库

Keras3支持多后端（TensorFlow、PyTorch、JAX），通过设置环境变量切换，兼容指定版本。pip安装后可用Sequential API快速构建CNN模型，如MNIST分类示例，实

avatar 亚马逊云科技技术品牌专区

AI行业日报｜2026-09-25：5个热点事件

本期行业动态聚焦于端侧算力重构、自主智能体工作流、开发工具经济模型、网络隔离架构设计与公共部门合规审查。以下结合一线技术场景进行结构化梳理，供 AI 研究员与软件工程团队参考。 PrismML 正将其轻量级语言模型适配至搭载高通处理器的智能眼镜终端 1 。该平台的核心战略指向开源权重模型的本地化运行，旨在最大化挖掘穿戴设备现有算力的利用效率 1 。对于嵌入式与边缘计算开发者而言，此类微型模型向低功

avatar 亚马逊云科技技术品牌专区