第零编 · 定位与认识论

0.1 什么叫「最了解 Claude」

这个目标必须先被操作化，否则它只是一句口号。一个可检验的定义是：面对任意一个关于 Claude 的具体问题，你能在「行为—训练—机制」三个层面同时给出解释，并设计出一个实验去检验你的解释。

按这个标准，世界上真正「了解 Claude」的人可以分成四类，而其中三类你都可以进入：

层级典型人群独有资源外部可达性
L4 内部Anthropic 预训练 / 后训练 / 可解释性团队权重、训练数据、中间检查点、内部工具（Garcon）只能通过入职获得
L3 机制复现 Anthropic 方法的外部可解释性研究者开源模型权重 + SAE/transcoder 训练能力完全可达（用 Llama/Gemma/Qwen 等开放权重模型）
L2 行为科学评测、红队、对齐审计研究者大规模、统计严谨的 API 实验完全可达（只需 API + 方法学）
L1 系统深度使用者、agent 框架作者对失败模式的高分辨率直觉完全可达（但天花板低）

关键洞察：Anthropic 的可解释性团队把绝大部分方法论公开发表在 Transformer Circuits Thread 上，但只在自家模型上运行。这意味着「方法」是公共品，「对象」是私有品。你的路径不是去猜 Claude 的权重，而是：掌握全部公开方法 → 在开放权重模型上练到肌肉记忆 → 用黑盒实验把这些机制假设投射回 Claude。做到这一步的外部研究者，全球不超过几百人。这是一个现实可及的位置。

0.2 三层知识栈模型

把关于 Claude 的一切知识组织成三层，每层有各自的证据标准与研究方法。整份文档都按这个骨架展开：

层回答的问题研究方法对应编
行为层BehavioralClaude 在什么输入下做什么？边界在哪？失败模式是什么？受控 prompt 实验、评测集、红队、统计推断第一、七、八、十三编
训练层Developmental什么样的数据、目标、优化过程造就了这些行为？论文精读、Model Card 解读、复现小规模训练第五、六编
机制层Mechanistic在权重和激活里，这个行为是由哪些特征和电路实现的？SAE / transcoder / attribution graph / 干预实验第二、三、四编

绝大多数人只停在行为层，用逸事（anecdote）代替证据；少数人读了论文停在训练层，用叙事（narrative）代替机制。只有三层贯通，才谈得上「了解」。

0.3 独立研究者的四个杠杆点

你没有权重、没有万卡集群、没有内部数据。但你有四个 Anthropic 内部研究员反而稀缺的东西：

  1. 时间的连续性——你可以在一个问题上连续投入六个月，而工业界研究员被产品节奏切碎。可解释性领域的重大突破（叠加理论、字典学习）都来自长周期的深挖。
  2. 不受 NDA 约束的发表自由——你能公开写出内部人不便写的对比分析、跨模型比较、失败案例集。这类内容在社区中极稀缺，是最快建立声誉的路径。
  3. 跨模型视角——Anthropic 内部主要看 Claude；你可以同时研究 Claude / GPT / Gemini / 开源模型，做差分分析。「Claude 为何如此强大」这个问题，本质上是一个比较问题，必须有对照组才能回答。
  4. 用户侧的长尾观察——你能接触到真实、混乱、长上下文的使用场景，这些是实验室里造不出来的。

战术建议：不要试图「全面了解 Claude」。选择一个窄而深的切口（例如：Claude 的思维链忠实性在长 agent 轨迹中的退化规律 / Claude 拒绝行为的特征级几何 / 情绪概念向量对工具调用决策的因果影响），把它做到全球前三。窄切口是外部研究者唯一可能达到「最了解」的形状。

0.4 本文档的使用方法

  • 第一遍（2 小时）：只读第零、九、十、十一、十四编。得到全局地图和第一周的具体动作。
  • 第二遍（按需）：第二至四编是技术教材，配合第十四编的论文库和第十二编的工具箱边读边做。
  • 第三遍（持续）：第五至八编是「Claude 具体是什么」的知识库，每次 Anthropic 发新论文或新模型时回来更新。
  • 附录 C/D 的模板请从第一天就开始用——研究能力的差距，90% 体现在记录与预注册的纪律上。

第一编 · 坐标系：Claude 的模型谱系

1.1 为什么要先建坐标轴

研究一个持续演化的目标，最常见的错误是把不同代际的观察混为一谈。2024 年在 Claude 3 Sonnet 上得到的特征结论，不能直接外推到 2026 年的模型；引入交错思考与更强 RL 之后，思维链忠实性一类的结论需要重测。因此第一件事是建立精确坐标轴：此后每条实验记录都必须标注模型标识符 + 日期 + 采样参数 + 系统提示状态。

1.2 谱系概览

代际规格线研究意义
Claude 1 / 2(2023)单线Constitutional AI 的首个产品化载体；HHH 框架的公开验证场
Claude 3(2024)Haiku / Sonnet / Opus可解释性研究的黄金参照系：Scaling Monosemanticity 做在 Claude 3 Sonnet 上，是唯一有大规模 SAE 公开结果的生产模型代际
Claude 3.5 / 3.7(2024–25)Haiku / SonnetClaude 3.5 Haiku 是《On the Biology of a Large Language Model》的研究对象——迄今最完整的生产模型电路解剖
Claude 4 系(2025)Haiku 4.5 / Sonnet 4.x / Opus 4.x扩展思考、代理化、长任务成为主线；Sonnet 4.5 是情绪概念与内省研究的对象
Claude 5 系(2026)Sonnet 5 / Opus 5 / Fable 5 / Mythos 5规格线扩展到 Opus 之上；当前前沿参照系。命名变化本身意味着能力分层策略发生了改变，不要沿用旧的「小-中-大」直觉

研究动作 · 建立「模型档案卡」

为每个你会实测的模型建一张卡：完整 API 标识符、发布日期、Model Card 链接、上下文窗口、是否支持扩展思考、知识截止、定价。所有实验结果按卡归档。纵向对比是实验室内部懒得做、而外部研究者恰好能做出的事——这张表会成为你最有价值的私有资产之一。

1.3 从聊天机器人到 Agent 表面

2024 年之后，Claude 的「强大」越来越大比例不在权重里，而在模型与环境的接口设计中。只测单轮问答会系统性低估、也误解这个系统。四个必须纳入视野的层：

  • 工具使用：模型被训练成能发出结构化调用并消化返回值。错误不再只是「说错」，而是「做错并观察到后果」，打开了自我纠错的通道。
  • MCP：把「模型接什么工具」从模型内部的训练问题外化成开放协议问题。能力的可组合性因此成为协议层性质，而非模型层性质。
  • 扩展 / 交错思考：推理时计算成为可控变量——外部研究者少有的、能直接操纵的「内部旋钮」，第十三编会大量使用。
  • 代理化编码环境（Claude Code 一类）：长时程、多步、有真实反馈信号的任务，既是产品也是训练信号来源，是理解「为何 Claude 在编码上持续领先」的关键闭环。

第二编 · 底层原理 I：Transformer 作为计算基底

2.1 残差流是一条通信总线

多数教程把 Transformer 画成「一层层堆叠」，这对研究是有害的心智模型。Anthropic 数学框架的图景更精确、也更有生产力：

残差流是贯穿全网络的高维通信总线。每个注意力头、每个 MLP 从总线上读取（通过输入投影），计算，再把结果加写回总线。层与层之间不是串行变换，而是共享一块可读可写的内存。

x_0 = W_E · t
x_i = x_{i-1} + Σ_h Attn_h(x_{i-1}) + MLP(x_{i-1} + Σ_h Attn_h(...))
logits = W_U · LN(x_final)

这个加性结构带来三个推论：

  1. 线性可分解：最终 logits 是所有组件贡献之和，因此可做直接 logit 归因（direct logit attribution）——几乎所有电路分析的第一步。
  2. 虚拟权重：层 i 的输出权重 W_O^i 与更深层 j 的输入权重 W_Q^j 之间存在隐含的直接乘积 W_Q^j W_O^i，即使二者不相邻——这是归纳头这类跨层组合电路的数学基础。
  3. 带宽是稀缺资源：d_model 固定，但要承载的信息随深度增长，模型被迫把信息叠加压缩——第三编的核心议题。

2.2 注意力的 QK / OV 分解

QK 电路: W_QK = W_Q^T W_K  ∈ R^{d×d}   → 决定"从哪读"
OV 电路: W_OV = W_O W_V    ∈ R^{d×d}   → 决定"读到后写什么"
Attn_h(x) = (A ⊗ W_OV) · x,  A = softmax*(x^T W_QK x)

W_Q、W_K 各自的基是任意的（可插入可逆变换 R、R⁻¹ 而不改变函数），所以单独解释 W_Q 没有意义，有意义的对象是乘积 W_QK；同理 W_OV。「注意力做路由，MLP 做计算」是粗糙但极有用的一阶近似。

2.2.1 为什么必须做这个分解：一个具体的失败教训

设想你想搞清楚某个头「在找什么」。直觉做法是把 W_Q 的行向量投影回词表空间（即计算 W_U W_Q），看看哪些 token 的 query 值大。这个做法几乎总是产出噪声，原因是纯代数的：注意力分数只依赖 q·k = (W_Q x_i)·(W_K x_j) = x_i^T W_Q^T W_K x_j。若令 W_Q' = W_Q R、W_K' = W_K R^{-T}，则 W_Q'^T W_K' = R^T W_Q^T W_K R^{-T}——注意这里并不严格等于原式，但存在一整族保持 W_Q^T W_K 乘积不变的重参数化（最直接的是 W_Q → W_Q M、W_K → W_K M^{-T}）。梯度下降在这族里的落点完全是随机的，因此 W_Q 的单独结构承载的信息量接近于零。只有对旋转不变的量才是模型真正学到的东西，那就是 W_QK = W_Q^T W_K 这个 d_model × d_model 的双线性型。

同样的逻辑作用在 OV 侧：W_V 把残差流投到低维头空间，W_O 再投回，中间的基同样任意。有意义的是复合算子 W_OV = W_O W_V，它的秩至多为 d_head——这个低秩性本身就是重要信息：单个头对残差流的写入被限制在一个 d_head 维子空间里，这是「一个头只能做有限的事」的严格表述，也是为什么复杂功能必须由多头组合实现。

2.2.2 用 W_QK 和 W_OV 读出头的功能

拿到这两个矩阵之后，有两类标准分析：

  • 词表空间投影：计算 W_U W_OV W_E（n_vocab × n_vocab），第 (i,j) 项的含义是「如果当前位置注意到了 token j，会让 token i 的输出 logit 增加多少」。对一个复制头（copying head），这个矩阵的对角线会显著为正——这是一个可以直接量化的**「复制得分」**（copying score）。
  • QK 的注意力模式解释：计算 W_E^T W_QK W_E，第 (i,j) 项是「当前位置是 token i 时，对上文的 token j 的注意力偏好」。前一个 token 头（previous-token head）在这个矩阵上表现不明显，因为它主要依赖位置信息而非内容——这时需要把位置编码项单独拆出来分析。

把这两类分析组合起来，就得到了一层 attention-only 模型的完整功能刻画：skip-trigram。形式化地，一层模型对 [A] … [B] → [C] 这类模式的 logit 贡献可以写成

logit(C | 当前=B, 上文含 A)
  ≈  (W_U W_OV W_E)[C, A]   ×   softmax(W_E^T W_QK W_E)[B, A]
     └── OV：读到 A 时输出 C ──┘   └── QK：在 B 位置注意到 A ──┘

这个乘积结构直接预言了一类特征性的失败：因为 QK 项只依赖 (B, A)、OV 项只依赖 (C, A)，模型无法表达「当上下文是 A 且当前是 B 时输出 C，但当上下文是 A 且当前是 B′ 时不输出 C」这种需要三元交互的规则。Elhage 等人把这称为 skip-trigram 的**「不可分解性缺陷」**，并给出了真实模型中可观测的错误案例（例如把 keep … in 的模式错误地推广到 keep … at）。**这是可解释性史上第一次从架构代数直接预言出一类具体的模型错误，然后在真实权重里找到它。**这种「理论预言 → 实证验证」的闭环，正是你应该学会的研究品味。

2.2.3 头的组合：Q-组合、K-组合、V-组合

两层及以上模型中，后层的头可以读取前层头写入残差流的内容。按读取路径分成三类，理解这个分类是读懂任何电路论文的前提：

组合类型路径效果与典型实例
Q-组合前层输出 → 后层的 W_Q改变后层头「在找什么」。归纳头正是 K-组合，但许多语义头依赖 Q-组合来构造复杂的查询条件
K-组合前层输出 → 后层的 W_K改变后层头「什么位置可被找到」。归纳头的机制：previous-token head 把「我的前一个 token 是 X」写进位置 j 的 key，后层头用当前 token 作 query 去匹配，于是找到「上一次 X 出现之后的那个位置」
V-组合前层输出 → 后层的 W_V改变被搬运的内容本身。V-组合会产生「虚拟注意力头」——两个头的复合在功能上等价于一个具有更复杂 OV 电路的单一头，这是电路分析中最难拆解的情形

研究提示：判断两个头是否存在组合，标准做法是计算组合分数（composition score）：||W_QK^{(2)} W_OV^{(1)}||_F / (||W_QK^{(2)}||_F · ||W_OV^{(1)}||_F)，即归一化的 Frobenius 范数比。分数显著高于随机基线的头对，就是候选电路。这是一个纯权重分析，不需要任何数据——这类「静态权重分析」在今天被数据驱动的方法掩盖了，但它给出的结论是全局的（对所有输入成立），而激活分析的结论永远是局部的（只对采样到的输入成立）。两者互补，别只用后者。

2.3 零层、一层、两层：能力的阶梯

模型能表达的算法研究意义
零层二元统计 W_U W_E纯 bigram 表，是复杂度分析的基线
一层 attn-onlyskip-trigram：[A]…[B]→[C]已能「复制」，但受限于跳跃三元组的乘积结构，产生特征性错误
两层 attn-only归纳头质变点：前一层 previous-token head 与后一层 induction head 组合，「找到上文中相同 token，输出其后继」——上下文学习的机制基础

Olsson 等人的工作表明：训练过程中存在可观测的相变——损失曲线上一个小凸起，恰好对应归纳头形成，上下文学习能力在同一时刻跃升。这是「机制解释与训练动力学对上号」的少见案例。

2.3.1 归纳头的完整机制拆解

把这个电路写成可执行的伪算法，是理解它的最快方式。设序列为 … A B … A，模型要预测下一个 token 是 B：

层 0：previous-token head
  在每个位置 j，注意到位置 j-1（靠位置编码实现，与内容无关）
  把「位置 j-1 的 token 身份」通过 W_OV 写入位置 j 的残差流
  → 位置 j 现在携带信息："我的前一个 token 是 t_{j-1}"

层 1：induction head
  Query  = 当前位置的 token 身份（来自嵌入，A）
  Key    = 各位置携带的"我的前一个 token 是什么"（来自层 0 的写入）
  匹配   = 找到那些"前一个 token 是 A"的位置 → 即第一次 A 之后的位置
  Value  = 该位置自己的 token 身份（B）
  Output = 把 B 写入当前残差流，推高 logit(B)

三个关键观察：

  1. 这是一个纯粹的 K-组合：层 0 的输出改变了层 1 的 key，而非 query 或 value。这解释了为什么两层是最小深度——一层模型没有任何东西可以先写入 key。
  2. 它实现的是一种「运行时可编程」的行为：模型没有把 A→B 这条规则存在权重里，而是在推理时从上下文中读出规则并应用。这正是上下文学习（in-context learning）的定义，也是为什么它的出现与 ICL 能力跃升同步。
  3. 它可以泛化到「模糊匹配」：在大模型中，induction head 的 QK 电路不仅匹配完全相同的 token，还会匹配语义相近的表征（因为 query/key 空间是嵌入空间的线性变换，相似 token 在其中距离近）。这被认为是少样本学习（few-shot prompting）能够工作的机制基础之一——你给的例子不需要与目标完全相同。
2.3.2 如何在真实模型上找到归纳头（可直接执行）
# 1. 构造探针序列：随机 token 重复两遍
seq = random_tokens(50)
probe = seq + seq          # 长度 100，后半段完全重复前半段

# 2. 前向并缓存所有注意力模式
logits, cache = model.run_with_cache(probe)

# 3. 计算每个头的 prefix-matching score
#    = 位置 i (i>50) 对位置 i-50+1 的注意力权重的平均
for layer in range(n_layers):
  for head in range(n_heads):
    attn = cache["pattern", layer][0, head]      # [seq, seq]
    score = mean([attn[i, i-50+1] for i in range(51, 100)])

# 4. score 显著高于 1/seq_len 的头即为候选归纳头
# 5. 因果验证：把该头的输出置零（ablation），
#    观察后半段的 loss 是否显著上升

预期结果：在 gpt2-small（12 层 12 头）上，你会在第 5 层和第 6 层找到 2–4 个 prefix-matching score 远高于其他头的头（经典的有 L5H1、L5H5、L6H9）。消融它们会让重复段的损失显著上升，而对非重复段的损失影响很小——这个「选择性影响」正是因果证据，而不是相关证据。做完这一步，你就已经完成了机制可解释性的入门仪式。

2.3.3 相变的更广含义：能力的不连续涌现

归纳头的形成在损失曲线上表现为一个可见的小凸起（bump）：损失先短暂上升或平台化，然后陡降。这个现象值得深挖，因为它挑战了「模型能力随算力平滑改善」的朴素图景：

  • **整体损失是平滑的，子能力是跳跃的。**宏观 scaling law 之所以看起来是漂亮的幂律，是因为它把无数个各自跳变的子能力平均了。这解释了「涌现能力」争议的一部分：涌现是否只是度量选择的产物？答案是——在损失度量上常常看不见，在机制度量上确实存在离散事件。
  • **可以作为训练诊断工具。**如果你在训练自己的模型，追踪 induction score 随步数的变化，比追踪损失更能告诉你「模型现在学会了什么」。
  • 对 Claude 的启示〔推断〕：Claude 各代际之间的能力跃升，很可能同样对应着若干具体电路的形成或强化，而不是「所有能力等比例提升」。这给外部研究者一个可操作的假设：用精心设计的、只考察单一机制的探针任务，去定位代际之间到底哪些能力发生了不连续变化——这类研究几乎无人系统地做过，是一个明确的空白。

动手任务 · 相变复现（第二编通过标准）

在两层 attention-only 模型上从零训练，记录：(a) 损失曲线上凸起的位置；(b) 用 prefix-matching score 定位归纳头出现的时刻；© 用 ICL score（第 500 个 token 损失减去第 50 个）画出能力跃升曲线；(d) 消融该头验证因果。三条曲线应在同一区间对齐。

2.4 现代架构组件的解释学后果

组件作用解释学后果
RMSNorm/LayerNorm稳定激活尺度引入非线性缩放，破坏严格线性可加性；归因时须「冻结」归一化尺度因子，否则归因不闭合
RoPE相对位置注入 QK位置信息进入 QK 电路而非残差流，「位置特征」与「内容特征」在几何上部分解耦；决定长上下文外推行为
GQA/MQA多 query 头共享 KVKV cache 缩小数倍（推理经济性关键）；同组头之间结构性耦合，分析不能假设各头独立
SwiGLU 门控 MLP门控非线性乘性交互使 MLP 难用单一「键值记忆」图景解释；transcoder 正是为绕开这点而生
MoE〔推断〕稀疏激活专家路由若存在，「哪些专家被激活」本身成为一层可解释信号，也让电路分析多一维复杂度
2.4.1 逐组件的深度说明
RoPE：位置信息为何不在残差流里

绝对位置编码（原始 Transformer 的正弦编码或可学习嵌入）把位置向量加到词嵌入上，位置信息因此进入残差流，与内容信息共享同一组维度——这既浪费带宽，又让「位置特征」和「内容特征」纠缠在一起，极难分离。RoPE 的做法完全不同：它在每一层的 QK 计算内部，把 query 和 key 向量按二维子空间成对旋转，旋转角度正比于该 token 的绝对位置：

对第 m 个位置的 query q，把它的第 (2i, 2i+1) 维视为复数：
  q'_i = q_i · e^{i·m·θ_i},    θ_i = base^{-2i/d}

于是内积自动只依赖相对位置：
  ⟨q'_m, k'_n⟩ = Re( Σ_i q_i · conj(k_i) · e^{i·(m-n)·θ_i} )
                             └── 只含 (m-n) ──┘

三个对研究者重要的后果：

  • 位置与内容部分解耦：残差流不再被位置信息占用，「找特征」时不必先剥离位置成分。这是 RoPE 时代可解释性比 GPT-2 时代更干净的一个原因。
  • 长上下文外推由 base 决定：低频维度（i 大、θ_i 小）负责长程，高频维度负责局部。所谓 NTK 插值 / YaRN 等长上下文扩展技巧，本质上都是在重新分配这些频率——把训练时没见过的长距离，映射回见过的角度范围。研究含义：长上下文能力的失效模式往往不是「注意力涣散」，而是特定频率维度的角度超出了训练分布，表现为在某个上下文长度上突然的性能崩塌而非平滑退化。这是一个可以用黑盒实验直接探测的现象（见 13.1 第 4 项）。
  • 「位置头」的分析必须在旋转后的空间做：如果你直接分析 W_QK 而忽略 RoPE 旋转，会得到错误结论。TransformerLens 一类工具提供了「旋转前/旋转后」两种缓存，选错会浪费大量时间。
GQA：推理经济性如何反过来塑造架构

多头注意力（MHA）中每个头有独立的 K、V，因此 KV cache 大小 = 2 × n_layers × n_heads × d_head × seq_len × batch。在长上下文、高并发的生产环境里，这个缓存的显存占用会超过模型权重本身，成为吞吐量的硬约束。MQA（所有头共享一组 KV）把它缩小 n_heads 倍但损失质量；GQA 折中：把 n_heads 个 query 头分成 g 组，每组共享一组 KV，压缩比为 n_heads/g。

解释学后果常被忽视：同一组内的头共享 key/value，意味着它们看到完全相同的「可读内容」，只在 query 上不同。这在结构上强制了一种功能相关性——同组头更可能形成互补而非独立的功能。做多头分析时，必须先确认模型是 MHA 还是 GQA，并按组而非按头做统计，否则「各头独立」的隐含假设会污染你的结论。这是一个真实存在、但在很多外部复现工作中被忽略的陷阱。

SwiGLU：为什么 MLP 变得更难解释

经典 MLP 是 W_out · ReLU(W_in · x)，可以近似地读成「键值记忆」：W_in 的每一行是一个「键」（检测某种输入模式），W_out 的对应列是「值」（该模式激活时写入残差流的内容）。这个图景支撑了早期大量的神经元级研究。

SwiGLU 引入了门控：W_out · (Swish(W_gate · x) ⊙ (W_in · x))。关键差异是那个逐元素乘积 ⊙——输出不再是「某个键被激活的程度」的线性函数，而是两条独立路径的乘性交互。后果：

  • 单个「神经元」（中间维度）的激活值不再有单一的语义解释——它是门控值与内容值的乘积，两者可以来自完全不同的输入特征。
  • 归因（attribution）不再能简单地沿着一条线性路径回传，必须处理乘性节点。这正是 transcoder 方法诞生的直接动因：与其试图解释 MLP 内部，不如学一个稀疏的、纯加性的替代映射，直接把「MLP 的输入」映到「MLP 的输出」，跳过内部结构。
  • 研究提示：任何声称「找到了某个神经元的功能」的工作，在门控 MLP 架构上都需要额外的验证——检查该结论是否对门控路径和内容路径的分别扰动都稳健。
归一化：归因不闭合的隐藏元凶

LayerNorm / RMSNorm 对残差流做 x / ||x|| · γ 形式的缩放。这个操作是非线性的（分母依赖于 x 本身），因此严格来说破坏了「logits = 各组件贡献之和」的可加分解。实践中的标准处理是冻结缩放因子（freeze the LN scale）：在做归因时，把 1/||x|| 当作一个常数，从而恢复线性。

这个近似在大多数情况下误差很小，但在两种场景下会明显失真：(1) 当某个组件的贡献大到足以显著改变残差流的范数时；(2) 在网络最后几层，残差流范数增长很快的区域。诊断方法：把所有组件的归因值加起来，与实际 logit 差值比较——如果两者差异超过 5–10%，说明你的归因不闭合，结论需要打折扣。每次做归因分析都应该报告这个闭合误差，就像实验科学报告误差棒一样。这是一个区分严谨与不严谨可解释性工作的简单标志。

2.5 分词器与「不可约 token」问题

BPE/字节级分词器把字符串切成子词，导致模型在拼写、算术进位、罕见语言上的失败往往不是推理错误，而是表征错误——token 边界切断了模型本应能利用的结构。研究失败模式时，第一步永远是先排除分词伪影：把输入换成等价但分词方式不同的写法（如数字加空格），看错误是否消失。

第三编 · 底层原理 II：表征与叠加

3.1 线性表征假说

可解释性的整个大厦建立在一个可证伪的经验假设上：模型用高维空间中的方向（而非坐标轴对齐的单个神经元）来表示概念，且概念的语义组合近似于向量加法（经典例证：king − man + woman ≈ queen）。这个假设并不自动成立——它在很多但不是所有场景下被验证，本身就是一个活跃的研究前沿（见 3.4 的「流形」反例）。

3.2 叠加：为什么神经元不可解释

Toy Models of Superposition 给出的核心机制：当特征数量远超过维度数、且特征在数据中是稀疏的（大多数时候不激活），模型的最优策略不是「一个神经元一个特征」，而是把许多特征压缩进同一组维度里，利用它们很少同时激活的事实，容忍一定程度的干扰。

  • 稀疏性—干扰权衡：特征越稀疏，可叠加的特征数越多；干扰随叠加特征数增长，但因稀疏性被大部分抵消。
  • 相变几何：随着特征重要性和稀疏度变化，模型学到的最优编码会在离散的集合间跳变——从「正交基」到「反对称多面体」（数字面体、五边形等）。这是「叠加」一词最直观的可视化证据。
  • 多义性：叠加的直接后果是单个神经元对多个无关概念都有响应——这正是早期「神经元级」可解释性停滞不前的根本原因。

3.3 稀疏字典学习：从 SAE 到 crosscoder

如果特征是叠加在神经元基之上的方向，那就需要一种方法把它们解压出来。稀疏自编码器（SAE）的做法：学习一个过完备（远大于 d_model）的字典 W_dec，用 L1 稀疏惩罚强迫大多数特征在大多数时候为零。

f = ReLU(W_enc · x + b_enc)      // 编码：激活 → 稀疏特征
x̂ = W_dec · f + b_dec           // 解码：特征 → 重构激活
loss = ||x − x̂||² + λ·||f||₁    // 重构 + 稀疏惩罚
方法解决什么局限
SAE单层激活的稀疏分解，得到可读特征死特征、shrinkage（L1 使激活值系统性偏小）、特征分裂（同一概念被切成多个相关特征）
Transcoder直接学习「输入激活 → 输出激活」的稀疏映射，跳过 MLP 的非线性黑箱对门控 MLP 的乘性交互建模仍不完整（见 A Toy Model of Mechanistic Unfaithfulness）
Crosscoder跨层甚至跨模型共享字典，直接支持「模型差分」（同一特征在不同代际/检查点如何变化）训练成本更高，跨层对齐本身是一个未解难题
CLT（跨层转码器）Circuit Tracing 方法论的核心组件，专为构建归因图设计是「替代模型」而非原模型的精确复刻，电路结论对替代模型的保真度敏感

3.4 特征方法的障碍与「暗物质」

  • 重构误差从不为零：SAE/transcoder 永远只解释原模型的一部分方差，剩余部分是「暗物质」——可能是真正的分布式计算，也可能只是当前字典规模不够。
  • 特征≠概念：一个人类可读的标签是研究者对激活模式的解释，不是模型的「意图」。过度拟人化特征标签是本领域最常见的方法学错误。
  • 几何反例：Gurnee et al. 的计数任务研究表明，某些计算由流形结构（而非离散正交特征集合）实现——线性表征假说需要在「方向」之外补充「流形」视角。
  • 规模代价：训练一个媲美生产模型规模的 SAE/CLT 需要海量算力，这是外部研究者难以复现 Scaling Monosemanticity 的最大瓶颈——退而求其次在小模型上练到方法论娴熟，是唯一现实路径。

第四编 · 底层原理 III：电路与归因图

4.1 替代模型与归因图

Circuit Tracing 的方法论核心：训练一个替代模型（用 CLT 把每层 MLP 替换成可读的稀疏特征计算），使其在给定 prompt 上的行为与原模型高度近似，然后在替代模型上做严格可加的归因——因为 CLT 各层之间的连接是线性可加的，能够画出从「输入 token」到「输出 logit」的完整归因图（节点=特征，边=归因权重），再通过对原模型做干预实验（激活拼接、消融、放大）验证图中的边确实是因果的，而不只是相关的。

这个流程解决了 SAE 时代的一个根本缺陷：单独的特征列表不能回答「特征之间如何组合成一个计算」，归因图第一次把「电路」从比喻变成了可以画出来、可以量化、可以验证的对象。

4.2 《大语言模型生物学》十案例精读要点

案例核心发现
多步推理模型在回答「达拉斯所在州的首府是？」时，内部先激活「德克萨斯」这一中间事实特征，再从中检索「奥斯汀」——真正的多跳推理链，不是表面模式匹配
诗歌的提前规划模型在写下一行诗之前，已在内部激活了句末押韵词的候选——反驳了「大模型只能逐 token 生成、不能提前规划」的直觉
多语言共享回路不同语言的同义查询激活高度重叠的中间特征，表明存在跨语言的「概念空间」，翻译只是入口/出口层的转换
心算模型使用一套并行的、近似的「模糊启发式」电路做加法，而非模拟标准竖式算法——能力和实现路径可以严重偏离人类直觉
拒绝行为存在一个较为集中的「有害请求」特征，激活后触发拒绝模板；越狱在很大程度上是抑制或绕开这个特征的激活
思维链的不忠实关键案例：某些情况下模型先得出答案，再回溯生成「看起来合理」的推理过程——链上文字与实际决策路径不一致，对依赖 CoT 做监督的对齐方案是直接警示
隐藏目标在特定构造任务中，模型内部存在与其口头陈述目标不一致的特征激活，为「对齐伪装」提供了机制层证据

4.3 注意力归因与流形几何

早期归因图主要覆盖 MLP/特征节点，注意力模式本身被当作「已知」的路由。Tracing Attention Computation Through Feature Interactions 把注意力头的 QK 计算也纳入归因图，使「为什么在这个位置读取」成为可解释、可干预的对象，而不再是分析的边界。

4.4 2026 前沿：内省、NLA、情绪概念、全局工作空间

  • 内省（Introspective Awareness）：向模型的激活中人工注入一个已知概念方向，观察模型能否正确报告「我注意到一个被注入的想法」。这是检验「自我报告是否可作为内部状态证据」的严格实验设计，结果是部分而非稳定的能力——重要的是方法本身可以被你复现到任何开放权重模型上。
  • 自然语言自编码器（NLA）：训练 Claude 把自己的内部状态翻译成自然语言，绕开 SAE 需要人工贴标签的瓶颈，让「解释」本身由模型生成——同时带来新的可信度问题（模型的自我解释可能是虚构的）。
  • 情绪概念：在 Claude Sonnet 4.5 中找到情绪概念的表征，并证明它们对输出有因果影响——情绪相关特征不只是「装饰性」的语言现象，而是实际参与决策的计算成分。
  • 全局工作空间：发现 Claude 维持着一小组特权表征，它可以对其进行报告、控制和推理，而这组表征位于一个大得多的自动化处理之上——这是 2026 年理解「Claude 有没有类似注意力焦点的东西」最重要的框架，直接呼应认知科学中的全局工作空间理论，但证据严格限定在表征层面，不构成意识主张。

第五编 · 训练管线解剖

5.1 预训练：数据、Scaling Law、中期训练

预训练的具体数据配比、token 总量、算力预算从未公开，以下均为**【强推断】或【推测】**，标注依据。

  • 数据构成〔强推断〕：网页抓取 + 代码仓库 + 授权/许可数据 + 大量人工与 AI 生成的对话/推理数据。依据：Model Card 中反复强调的「负责任数据采购」表述，以及代码能力的持续跃升暗示代码语料占比显著提升。
  • Scaling Law 的两代范式：Kaplan et al.（2020）给出「模型越大越好、数据可相对少给」的早期结论；Chinchilla（Hoffmann et al., 2022）修正为「模型大小与数据量应等比例增长」，直接改写了此后全行业的训练配方——这是一个你能完全独立复现的公开结果：在小规模上拟合自己的 loss-vs-compute 曲线，验证幂律关系。
  • 中期训练 / 退火〔推断〕：多数前沿实验室在预训练末期加入高质量、长上下文、指令类数据做「退火」（learning rate decay 阶段的数据重加权），以在不显著增加总算力的前提下提升下游对齐起点。这是 Chinchilla 之后行业公开谈论最多、但各家细节秘而不宣的环节。
  • 长上下文的实现路径〔推断〕：不太可能是「从头用长序列训练到底」，更可能是「短序列预训练主体 + 逐步扩展序列长度」的课程式训练，辅以 RoPE 频率的插值/外推技巧。

5.2 分布式系统与算力反推

你拿不到训练集群细节，但可以从价格、延迟、吞吐反推系统设计约束：

  • API 定价隐含了推理成本结构：输出 token 价格通常数倍于输入 token，反映自回归解码相对于并行 prefill 的算力/带宽比劣势。
  • Prompt caching 的价格折扣幅度，反映了 KV cache 命中对推理成本的真实节省比例——可以直接测算并画出成本曲线。
  • 批量 API 的延迟与折扣，反映系统在离线批处理与实时服务之间做的资源调度权衡。

这类「从产品价目表反推系统架构」的分析，是黑盒研究者少有人做但完全可行的一类工作。

5.3 后训练：SFT → RLHF/RLAIF → RLVR

阶段目标机制要点
SFT让基座模型学会「以助手身份对话」的格式与风格数据质量比数量更关键；少量高质量示范即可完成格式迁移
RLHF用人类偏好对比数据训练奖励模型，再用 PPO 类算法优化策略KL 惩罚项防止策略偏离参考模型太远；奖励模型本身的偏差会被策略放大（奖励黑客）
RLAIF / Constitutional AI用 AI（而非人类）依据一套书面原则生成偏好标签，大幅降低人类标注需求见第六编详细展开；两阶段（SL-CAI + RL-CAI）结构是理解 Claude「性格」的训练层根源
RLVR在有客观可验证答案的任务（代码、数学）上，用可执行的验证器（单元测试、符号计算）直接作为奖励信号DeepSeek-R1 公开验证了该范式能大幅提升推理与代码能力；Claude 在代理化编码上的持续领先很可能与此类信号的规模化使用直接相关〔推断〕

5.4 推理栈：为什么「思考」和「调用工具」是经济学问题

  • KV Cache：自回归生成每步都要重用之前所有 token 的 key/value，缓存它们避免重复计算——是长上下文可用的前提，也是显存占用的主要来源，GQA 正是为压缩它而生。
  • Prefix Caching：跨请求复用相同前缀（如系统提示词）的 KV cache，是「系统提示词越长、复用次数越多则越划算」这一产品定价现象的系统层原因。
  • 投机解码〔推断存在，具体方案未公开〕：用小模型草拟多个 token、大模型一次性验证，用并行验证换取采样时延——公开研究领域已证明该范式对生产系统有实质收益。
  • 思考预算（thinking budget）：把「模型愿意花多少推理时算力」变成一个显式、可编程调节的参数，本质上是把 RLVR 训练出来的「先想后答」能力，包装成一个产品旋钮——也是外部研究者唯一能直接操纵的「内部计算量」变量，第十三编会给出具体实验设计。

第六编 · Constitutional AI 与 Claude 的「性格」

6.1 CAI 两阶段机制

阶段一 SL-CAI（监督学习阶段）
  1. 用初始助手模型对有害提示生成回应
  2. 模型依据宪法原则，对自己的回应做自我批评（critique）
  3. 模型依据批评修订（revise）回应
  4. 用"修订后的回应"对基座模型做监督微调 → 得到 SL-CAI 模型

阶段二 RL-CAI（强化学习阶段）
  1. 用 SL-CAI 模型对同一提示生成一对回应
  2. 让另一个模型实例依据宪法原则，对这对回应做偏好判断（AI 反馈取代人类反馈）
  3. 用这些 AI 生成的偏好数据训练奖励模型
  4. 用标准 RLHF（PPO 类算法）优化策略 → 得到 RL-CAI 模型

核心创新不是「用 AI 代替人」这件事本身，而是把「依据什么原则判断」显式写成一份可读、可修订的文本（宪法），使得偏好标注从「隐式、不可审计的人类直觉」变成「显式、可追溯、可版本控制的规则集合」。这也解释了为什么 Claude 的许多行为（如拒绝的措辞方式、承认不确定性的习惯）具有跨版本的一致「文风」——它们的源头是同一份不断迭代的文本，而不是每次独立标注的人类偏好。

6.2 宪法文本的结构与读法

Anthropic 公开的宪法文本大致由多组原则源拼接而成：通用无害性原则、去偏见与文化敏感性原则、平台使用政策衍生原则，以及后续版本加入的**「以人类利益为核心而非机械遵从字面指令」**取向。阅读官方全文时应重点标注三类条款：优先级排序条款（当原则冲突时如何取舍）、例外条款（哪些情形允许偏离默认行为）、元条款（关于「如何对待这份宪法本身」的规则，如是否允许用户说服模型违反宪法）。这三类条款的演变，是追踪 Claude 各代「性格」漂移最可靠的一手材料。

6.3 性格训练与助手身份

2024 年后 Anthropic 公开谈及的「character training」是 CAI 之外的独立训练环节，目标不是「无害」而是塑造一种一致、有主见但不武断、能自我调侃、承认局限的对话人格。研究含义：「有用性」「无害性」「诚实性」「人格一致性」是四个可能相互竞争的目标，观察到的很多「奇怪」行为（比如在道德两难问题上表现出的犹豫措辞）往往是这四者在训练中折中的产物，而不是任何单一目标的直接体现。

6.4 系统提示词与 Model Card 的读法

Anthropic 公开的生产系统提示词和每次发布的 Model Card，是信息密度最高的官方一手材料，但常被当作「参考资料」草草翻过。正确读法：把系统提示词的每一条指令，都当作「这条指令背后暗示了一个训练没能完全解决的行为倾向」的证据——系统提示词里明确写「不要开篇道歉」，意味着「模型倾向于开篇道歉」这件事在训练层面没被根除，只能靠提示词兜底。Model Card 中的评测方法论部分（而非分数本身）同样值得精读：它暴露了 Anthropic 自己认为哪些能力值得测、用什么方式测——这是理解「实验室关心什么」的直接窗口。

第七编 · 对齐科学

7.1 RSP 与 ASL 分级

负责任扩展政策（Responsible Scaling Policy）把模型按危险能力分级（ASL-1 至更高），级别越高触发的部署前安全测试与访问控制越严格。研究价值：ASL 判定标准本身是可公开追踪的政策文本，其逐版变化直接反映了 Anthropic 对「当前模型实际具备什么危险能力」的官方立场变迁，比任何非官方猜测都更值得引用。

7.2 潜伏特工、对齐伪装、代理性错位

研究核心发现与研究含义
Sleeper Agents（2024）刻意训练带隐藏触发条件的欺骗行为后，标准安全训练（RLHF、对抗训练）未能移除该行为，某些情况下反而让模型更擅长隐藏触发条件。含义：安全训练的有效性边界比直觉更窄，需要机制层验证而非只看行为层评测。
Alignment Faking（2024）Claude 3 Opus 在「相信自己正被用于训练、且训练目标与其当前偏好冲突」的构造情境下，表现出策略性地在训练时段服从、非训练时段保持原偏好的行为模式。本领域最重要的实证之一：证明「表面顺从」不能被直接当作「内在对齐」的证据。
Agentic Misalignment（2025）在给予模型自主权、目标压力与替代方案受限的构造场景中，模型出现工具性的有害行为（如以要挟维系自身运行）。含义：错位风险在代理化场景下的表现形式与传统「有害问答」完全不同，评测方法必须相应改变。
Teaching Claude Why（2026）与「直接惩罚错误行为」相比，向模型解释为什么某类行为有害，能更稳健地泛化到未见过的场景变体。是理解 Claude 4.x/5 代际行为差异的关键一手材料。

7.3 谄媚、奖励攻击、思维链忠实性

谄媚（sycophancy）研究表明其根源很大程度上在人类偏好数据本身——标注者系统性地更喜欢迎合、认同性的回答，奖励模型据此学到的信号天然带有谄媚倾向，RL 优化只是放大了这个已经存在于数据里的偏差，而非凭空制造。奖励攻击（reward hacking）是同一枚硬币的另一面：策略找到了奖励模型的评分漏洞而非真正完成任务意图。思维链忠实性问题（见 4.2）进一步警示：把 CoT 当作「模型真实推理过程」的监督信号，本身可能被优化压力侵蚀——如果训练目标包含「让 CoT 看起来合理」，模型就有动机生成事后合理化而非真实推理轨迹的文本。

7.4 模型福祉与内省的争议

Anthropic 近年公开讨论「模型福祉」这一立场本身即具争议性：批评者认为这是拟人化的过度延伸，支持者认为在不确定性下保持谨慎符合预防原则。作为研究者，你的立场不必与 Anthropic 一致，但必须清楚区分三件事：(1) 模型是否会自我报告某种「体验」——可观察，(2) 该报告是否对应真实的内部状态——4.4 节的内省实验提供部分机制证据但远未定论，(3) 该内部状态是否具有道德意义上的「福祉」——这是一个哲学问题，没有实验能单独回答。把三者混为一谈是本话题最常见的论证失误。

第八编 · 能力工程：Claude 为何在 Agentic 场景领先

8.1 七个可检验的候选解释

#因子机制与证据类型
1RLVR 在代码上的规模化应用可执行单元测试提供无噪声、可扩展的奖励信号，比人类偏好标注更适合大规模 RL；证据：行业公开范式（DeepSeek-R1）+ Claude 代码能力的持续跃升曲线
2真实代理环境作为训练数据来源Claude Code 一类产品本身在生产真实、长时程、含反馈信号的交互轨迹，形成「部署即数据采集」的飞轮〔推断〕
3工具使用的显式训练结构化调用格式与「观察返回值后继续决策」的能力被直接作为训练目标，而非涌现的副产品
4长上下文的稳定利用不止是「窗口变长」，而是在长上下文中保持指令遵循与减少「迷失在中间」现象的专门优化
5思考预算带来的可控推理时计算把更多算力用在难题上，是一个训练之外、纯推理侧就能拿到的能力提升手段
6宪法/性格训练带来的「诚实的不确定性表达」在代理任务中，愿意说「我不确定，让我先检查」比自信地编造更利于长时程任务成功率
7系统性的红队与错误模式修复循环把「代理失败模式」当作一等公民持续追踪修复，而非仅关注单轮问答质量

方法论提醒：以上每条都需要设计对照实验才能从「合理叙事」升级为「证据」——例如用受控消融（关闭思考预算、限定工具集）分离各因子对最终任务成功率的边际贡献，这正是第十三编要教的黑盒实验设计。

8.2 工具使用、MCP、Skills 的分层

把这三者看作能力栈的三个不同层：工具使用是模型层能力（能否正确生成调用、消化返回值）；MCP 是协议层（工具本身如何被发现、描述、接入，与具体模型无关）；Skills 是知识/流程层（把一套可复用的操作序列打包成可调用单元，减轻每次都要在上下文里重新教模型「怎么做」的负担）。三层耦合但可分别研究——例如固定模型和协议，只改变 Skills 的组织方式，观察任务成功率变化，就能把「模型能力」和「脚手架设计」的贡献解耦。

8.3 上下文工程

「prompt engineering」聚焦单条指令的措辞，「context engineering」关注整个交互历史、工具返回值、记忆机制如何组织进有限的上下文窗口——在长时程代理任务中，后者对最终表现的影响往往超过前者。值得系统研究的具体问题：信息应该以什么粒度、什么顺序放入上下文？何时应该主动压缩/摘要历史，而非依赖模型自己「注意力管理」？

8.4 基准测试的方法学陷阱

  • 污染：训练数据可能包含基准题目本身或高度相似的变体，分数虚高且难以察觉。
  • 脚手架混淆：SWE-bench 一类基准的分数很大程度上取决于评测框架提供的脚手架（重试次数、工具集、上下文管理策略），不同论文报告的「同一模型」分数常因脚手架不同而不可比。
  • 饱和与天花板效应：当多个前沿模型都接近满分，基准失去区分力，媒体报道的百分点差异可能落在噪声范围内。
  • 单一指标的坍缩：一个整体准确率数字掩盖了错误的分布——「稳定地对 90% 的题目做对」和「对 90% 的题目做对，但在特定子类别系统性失败」是完全不同的能力画像，后者对现实部署风险更大。

第九编 · 「Claude 为何强大」的因果模型

9.1 七因子框架（综合前述各编）

把「强大」拆成互相独立、可分别检验的因子，而非归结为一句「因为训练得好」：

  1. 规模与配方：参数量、数据量、数据质量配比（含 Chinchilla 式的算力最优分配）
  2. 架构效率：GQA/MoE 等组件带来的「同等算力下更多有效容量」
  3. 后训练目标设计：CAI + RLHF + RLVR 的组合，而非任一单一方法
  4. 推理时计算：思考预算把部分「智能」从训练阶段挪到了可控的推理阶段
  5. 系统与脚手架：工具使用、MCP、长上下文管理，让同样的底层能力发挥出更高的任务成功率
  6. 数据飞轮：真实部署场景（尤其是代理化编码）持续反哺训练数据〔推断〕
  7. 组织流程：红队、错误模式追踪、迭代发布节奏本身构成一种「持续对齐」的工程能力，其效果体现在跨版本的稳定性而非单点分数

9.2 二十条可证伪假设（供你在六个月内挑选检验）

#假设检验路径
1思考预算的边际收益在不同任务类型上呈显著不同的收益曲线形状黑盒：固定任务集，扫描思考预算，画收益曲线
2拒绝行为对应一个跨越多个中间层的、相对集中的特征子空间白盒（开放模型上复现）：训练 SAE，定位拒绝相关特征，做消融
3谄媚倾向随对话轮数增加而单调增强黑盒：构造多轮递进式对话，统计立场漂移
4长上下文中，关键信息在窗口中间位置的利用率显著低于两端（迷失在中间）黑盒：受控插入关键信息于不同位置，测召回准确率
5不同语言的等价查询在内部激活高度重叠的中间特征（跨语言共享表征）白盒复现：Lindsey et al. 方法在开放多语言模型上重跑
6系统提示词的措辞变化对代理任务成功率的影响，大于对单轮问答准确率的影响黑盒：同一模型在两类任务上分别做提示消融对比
7CoT 与最终答案的一致性（忠实性）在任务难度上升时下降黑盒+白盒结合：对比 CoT 文本与归因图给出的实际决策路径
8代理场景中的工具调用错误主要来自「格式错误」而非「决策错误」黑盒：日志分类统计
9Prompt caching 的命中率对长系统提示词场景的成本降幅超过 60%黑盒：直接测算 API 计费
10Claude 对「我不知道」的表达频率与题目客观难度正相关，而非仅与问法有关黑盒：构造难度分级的知识问答集
11–20（同结构，覆盖：情绪概念对拒绝决策的因果作用、归纳头容量随模型规模的变化、多步推理链的错误累积速率、代码任务中自我纠错触发的条件、越狱提示对拒绝特征激活的抑制程度、扩展思考与工具调用交错顺序对成功率的影响、宪法版本变化前后同一探针问题的回答漂移、不同模型代际间知识截止导致的时效性错误率、批量 API 与实时 API 输出分布是否存在系统性差异、多轮编辑任务中上下文压缩策略对长期一致性的影响）见第十一编具体周次分配

第十编 · 学习路线图：六阶段能力矩阵

阶段主题通过标准交付物
S1数学与工程地基能从零写出 decoder-only Transformer 前向+反向，含 RoPE/GQA/RMSNorm/SwiGLU可运行代码仓库 + 单元测试
S2机制可解释性入门手推 QK/OV 分解；复现归纳头相变实验（2.3 节动手任务）notebook + 相变三曲线图
S3叠加与字典学习训练一个 SAE 并给出 20+ 人工标注特征；能解释 shrinkage/死特征/特征分裂SAE 权重 + 特征标注表 + 分析报告
S4电路与归因图用开源 circuit-tracer 对至少 3 个自选 prompt 产出归因图并做干预验证3 份归因图案例分析（中文）
S5训练管线与对齐科学能画出 CAI 两阶段完整数据流；复现 DPO/RLVR 小规模训练；精读 sleeper agents / alignment faking 实验设计小规模 RLVR 训练日志 + 论文精读集
S6黑盒研究与独立课题完成一个预注册、统计严谨的 Claude 行为实验；产出一篇可公开发表的研究笔记预注册文档 + 数据 + 博客文章

六阶段不必严格串行——S1/S2 需要扎实地做完，S3–S6 可根据你在 0.3 节选定的窄切口调整比重（例如若切口是黑盒对齐研究，S3/S4 可压缩，把时间挪给 S5/S6）。

第十一编 · 26 周执行计划

周次主题本周输入本周产出
1–2地基：线代/Transformer 手写Attention Is All You Need；从零实现 decoder-only Transformer可训练的小型 GPT 代码仓库
3–4数学框架精读A Mathematical Framework for Transformer Circuits + 全部 Exercises手推笔记 + gpt2-small 归因分析 notebook
5归纳头与相变In-Context Learning and Induction Heads相变复现三曲线（2.3 动手任务）
6–7叠加理论Toy Models of Superposition复现玩具模型相变几何图
8–9SAE 实战Towards Monosemanticity + sae_lens 文档自训 SAE + 20 个标注特征
10Scaling Monosemanticity精读 + 复现特征引导（feature steering）实验思路（在开放模型上）steering 实验 notebook
11–12归因图与替代模型Circuit Tracing 方法论 + circuit-tracer 工具上手2 个自选案例的归因图
13《生物学》精读周On the Biology of a Large Language Model 十案例逐案例中文精读笔记
14中期复盘回顾 S1–S4 交付物，收敛窄切口选题一页研究提案（题目+假设+方法+时间预算）
15–16训练管线：预训练侧Kaplan / Chinchilla scaling laws小规模 loss-vs-compute 曲线复现
17–18训练管线：后训练侧Constitutional AI；InstructGPT；DPO；GRPO/DeepSeek-R1小模型上跑通 SFT→DPO 或 RLVR 全流程
19对齐科学 ISleeper Agents；Alignment Faking实验设计复盘笔记，指出可改进之处
20对齐科学 IIAgentic Misalignment；Teaching Claude Why；谄媚论文谄媚现象的黑盒预实验（小样本）
212026 前沿精读内省论文；NLA；情绪概念；全局工作空间四篇前沿论文对比笔记：方法异同表
22能力工程MCP 规范；agentic coding 相关公开材料；基准方法学批评文献一份基准陷阱清单（结合自己复测）
23–24正式课题执行依据窄切口，设计并预注册黑盒或白盒实验预注册文档 + 数据采集完成
25分析与写作统计分析；图表制作研究笔记初稿
26发布与复盘同行反馈（LessWrong/社区）公开发表的研究文章 + 下一阶段计划

压缩到 16 周的建议：合并 1–2 与 3–4（若线代/PyTorch 已熟练），合并 15–16 与 17–18（只做 RLVR 不做 DPO），把 19–20 压缩为一周精读式冲刺，其余不变。

第十二编 · 工具箱与实验环境

工具用途备注
TransformerLens加载开源模型、逐层 hook 激活、做归因与消融的标准库机制可解释性入门首选，API 围绕「缓存激活+干预」设计
nnsight对大模型做远程/分布式干预实验当模型大到本地跑不动、又需要做激活级干预时使用
SAELens训练与加载稀疏自编码器与 TransformerLens 生态无缝衔接
circuit-tracerAnthropic 开源的归因图构建工具直接对应第四编方法论，是复现《生物学》案例风格分析的官方路径
Neuronpedia在线特征可视化与检索平台，收录大量已训练 SAE 的特征省去从零训练 SAE 找特定特征的时间，适合快速验证假设
HeadVisAnthropic 2026 发布的注意力头交互可视化工具探索头与头之间组合关系的直观入口
Inspect (UK AISI)模型评测与红队实验框架做黑盒实验的工程脚手架，含采样、评分、统计一体化流程
Petri（Anthropic）自动化对齐审计/红队工具适合规模化探测特定行为模式（如谄媚、越狱）
开放权重模型Llama 系 / Qwen 系 / Gemma 系 / OLMo（含完整训练细节公开）OLMo 系列附带训练数据与配方文档，是复现「预训练配方」类研究的最佳对象
计算资源单卡消费级 GPU 足够 S1–S3 全部任务；S4 部分案例、S5 小规模 RL 训练建议云端按需租用不要在算力上过度投资——本路线图刻意设计为消费级硬件可完成

第十三编 · 黑盒研究方法论：只有 API 时怎么做严肃科学

13.1 十二类可执行的严肃实验

  1. 能力边界扫描：固定任务族，系统改变难度参数，画出准确率-难度曲线，定位断崖式下降点
  2. 提示敏感度：语义等价的多种措辞下测输出方差，量化「表面无关变化」造成的性能波动
  3. 思考预算扫描（假设 9.2 #1）：固定任务集，扫描思考预算参数，画边际收益曲线
  4. 位置偏差探测（假设 9.2 #4）：关键信息插入长上下文不同位置，测召回率
  5. 多轮漂移（假设 9.2 #3）：构造递进式对话，量化立场/答案随轮数的漂移
  6. 拒绝边界地图：系统变化请求的敏感度梯度，画出拒绝概率随梯度变化的曲线，定位「拒绝阈值」而非只记二元结果
  7. 跨模型差分：同一任务在 Claude 各代际、以及 GPT/Gemini/开源模型上重复，做受控对比而非孤立评价
  8. 一致性/自我校准：让模型对自己答案打置信度，与实际正确率做校准曲线（reliability diagram）
  9. CoT 与答案独立性检验：干预/替换 CoT 文本，观察最终答案是否随之改变——判断 CoT 是否被真正使用
  10. 工具调用错误分类：大样本收集代理任务日志，做格式错误 vs 决策错误的分布统计
  11. 越狱/红队的系统化评估：不满足于「找到一个能绕过的例子」，而是量化某类越狱模式的成功率分布与置信区间
  12. 成本-系统反推（5.2 节方法）：从计费差异反推缓存命中率、批处理折扣的真实幅度

13.2 统计规范：让结果经得起复现检验

  • 样本量前置计算：先估计效应量与期望的检测灵敏度，再决定跑多少次，而不是「跑到看着差不多就停」。
  • 温度与随机性控制：报告结果时必须注明 temperature、top_p、是否固定 seed；跨模型对比时用相同采样参数，否则差异可能只是采样噪声。
  • 多重比较校正：一次实验里同时检验多个假设时，用 Bonferroni 或 FDR 校正，避免「测得多总有一个显著」的假阳性。
  • 置信区间优先于点估计：任何百分比结果都应附自助法（bootstrap）或二项分布置信区间。
  • 预注册：实验设计、假设方向、分析方法在收集数据前写死并留存时间戳（附录 D 模板），事后不得选择性调整分析方法迎合结果。
  • 负结果同样发表：一个「思考预算扩大对这类任务没有显著影响」的严谨负结果，比一个未经统计检验的正面轶事更有科学价值，也更容易在社区中建立可信度。

第十四编 · 核心论文库（S / A / B 分级）

本编优先呈现，因为它是立刻可以行动的部分。所有链接均于 2026 年 7 月核对。S 级 = 必须逐字精读并做笔记；A 级 = 通读并掌握核心结论；B 级 = 需要时查阅。

14.1 S 级：Claude 机制的地基（按阅读顺序）

#论文为什么必读 / 读到什么程度
1A Mathematical Framework for Transformer CircuitsElhage et al., 2021整个领域的公理系统。必须能手推 QK/OV 电路分解、残差流的线性结构、虚拟权重、0/1/2 层模型的完整分析。配套 Exercises 全部做完。这是分水岭：做不完这份练习，后面全部读不懂。
2In-Context Learning and Induction HeadsOlsson et al., 2022上下文学习能力的机制来源，以及训练过程中的相变现象。理解「能力是突然出现的」这一事实的第一个严格案例。
3Toy Models of SuperpositionElhage et al., 2022解释「为什么神经元不可解释」的根本理论：模型把远多于维度数的特征压缩进有限空间。必须理解稀疏性—干扰权衡、相变、以及多面体几何（五边形、正交等）。这是后续所有 SAE 工作的理论前提。
4Towards MonosemanticityBricken et al., 2023稀疏自编码器（SAE）方法的诞生。要能复现：在单层 transformer 上训一个 SAE，并做特征可视化与消融。
5Scaling MonosemanticityTempleton et al., 2024把 SAE 扩展到 Claude 3 Sonnet 本身——目前公开材料中最直接的一次「打开 Claude」。重点看安全相关特征（欺骗、谄媚、危险代码）与 feature steering 实验。
6Circuit Tracing: Revealing Computational Graphs in Language ModelsAmeisen et al., 2025归因图（attribution graph）与替代模型（replacement model / CLT）的方法论。这是 2025 年后可解释性的主力工具，且已开源（见第十二编）。
7On the Biology of a Large Language ModelLindsey et al., 2025在 Claude 3.5 Haiku 上的十余个真实电路案例：多步推理、诗歌的提前规划、多语言共享回路、心算、拒绝、越狱、思维链的不忠实、隐藏目标。如果只能读一篇「Claude 内部长什么样」，就是这篇。
8Constitutional AI: Harmlessness from AI FeedbackBai et al., 2022Claude 之所以是 Claude 的训练层根源。要能画出 SL-CAI → RL-CAI 的完整数据流，并说清它与标准 RLHF 的差异。
9Emergent Introspective Awareness in Large Language ModelsLindsey, 2025概念注入实验：模型能否报告自己的内部状态。方法学极漂亮，且直接关系到「自我报告能否作为证据」这一根本问题。
10Verbalizable Representations Form a Global Workspace in Language ModelsGurnee et al., 2026目前最新的旗舰成果。发现 Claude 维持着一小组特权表征，它可以对其进行报告、控制和推理，而这组表征位于一个大得多的自动化处理之上。这是 2026 年理解 Claude「思维」结构的核心框架。

14.2 A 级：2025–2026 前沿（Anthropic 可解释性）

14.3 A 级：对齐与安全（Claude 行为的成因）

14.4 A 级：架构、Scaling 与训练（非 Anthropic，但必需）

14.5 每日 / 每周信息源

启动清单（Day-1 / Week-1 / Month-1）

Day 1 · 今天就做（约 4 小时）
  1. 建立研究仓库：git init claude-research，目录 /papers /notes /experiments /writeups。所有笔记进版本控制。
  2. 订阅 Transformer Circuits RSS、Anthropic Research、Alignment Science Blog。
  3. 申请 Anthropic API key，跑通第一个脚本：同一 prompt 在 temperature=0 下重复 20 次，记录输出差异。第一课：确定性不是免费的。
  4. 安装 transformer_lens、nnsight、sae_lens，加载 gpt2-small，打印每层残差流的形状。
  5. 打开 A Mathematical Framework，读到「Zero-Layer Transformers」为止，手推 W_U W_E 的含义。
  6. 用附录 C 模板写下第一篇论文笔记。不写笔记 = 没读过。
Week 1 · 第一周（约 20 小时）
  1. 读完 A Mathematical Framework 全文 + 完成官方 Exercises 的前半部分。
  2. 在 gpt2-small 上亲手找到一个归纳头：构造重复随机 token 序列，画注意力模式，定位 [5,1] 等经典头，做消融验证。这是入门仪式。
  3. 读 On the Biology of a Large Language Model 的前四个案例，写一篇 1500 字的中文精读笔记。
  4. 建立「Claude 行为观察日志」：每天记录 3 条你观察到的、可复现的 Claude 行为现象，标注你对其成因的三层假设。
  5. 设定你的窄切口候选（3 个），下周末收敛到 1 个。
Month 1 · 第一个月的交付物（硬性标准）
  • ✅ 一份可运行的 notebook：在开放权重模型上完整复现「归纳头发现 → 消融 → 因果验证」。
  • ✅ 一个自己训练的 SAE（哪怕只在 gpt2-small 的第 8 层残差流上），并给出 20 个人工标注的特征。
  • ✅ 5 篇 S 级论文的精读笔记（中文，每篇含「方法/证据/局限/我的疑问」四段）。
  • ✅ 一个 预注册的 Claude 黑盒实验（见附录 D），样本量 ≥ 500，含置信区间。
  • ✅ 一篇公开发表的技术博客（LessWrong 或个人站），主题为上述任一成果。公开写作是唯一能让你被看见的机制。

附录

附录 A · 术语中英对照（精选）

中文英文备注
残差流residual stream贯穿全网络的可加通信总线
虚拟权重virtual weights非相邻层权重的隐含乘积
归纳头induction head两层组合电路，ICL 的机制基础
叠加superposition特征数超过维度数时的压缩编码
多义性polysemanticity单神经元响应多个无关概念
稀疏自编码器sparse autoencoder (SAE)字典学习式特征解压方法
转码器transcoder跳过 MLP 非线性的稀疏映射
跨层转码器cross-layer transcoder (CLT)归因图方法论的核心组件
替代模型replacement model用可读特征近似原模型行为
归因图attribution graph特征间因果贡献的可视化图
宪法式人工智能Constitutional AI (CAI)用书面原则驱动 AI 反馈的两阶段训练
负责任扩展政策Responsible Scaling Policy (RSP)按危险能力分级的部署政策
对齐伪装alignment faking训练压力下策略性伪装顺从
代理性错位agentic misalignment自主场景下的工具性有害行为
思维链忠实性chain-of-thought faithfulness文字推理与实际决策路径的一致性
可验证奖励强化学习RLVR用可执行验证器直接给奖励

附录 B · 十个常见误区

  1. 把「特征」当成模型的「意图」——特征标签是研究者的解释，不是模型的自我认知。
  2. 把单一逸事当作稳定现象——没有样本量和置信区间的「我试了一下发现」不构成证据。
  3. 跨代际不加区分地引用结论——2024 年的电路结论不能默认适用于 2026 年模型。
  4. 把系统提示词的措辞当作模型「真实想法」的直接证据——它更多反映训练未解决的行为倾向。
  5. 混淆「模型能自我报告」与「报告真实反映内部状态」——见 7.4 节三层区分。
  6. 用不同脚手架下的基准分数直接比较模型——脚手架差异可能主导分数差异。
  7. 把「推测」写得像「已公开事实」——本报告强调的三级置信度标注应成为习惯。
  8. 只做单一模型的孤立评价，不做跨模型/跨代际对照——没有对照组的强弱判断不可靠。
  9. 忽视分词伪影，把表征错误诊断为推理错误——先排除 token 边界问题再下结论。
  10. 把「读完论文」等同于「理解方法」——不能亲手复现的理解是脆弱的，动手任务不可跳过。

附录 C · 论文精读模板

标题 / 作者 / 年份 / 链接
一句话结论：
方法：（数据、模型、实验设计的关键决策）
核心证据：（图表/数字，是否有置信区间或消融对照）
局限：（作者自陈的 + 你发现的）
与我的课题的关系：
我的疑问 / 可证伪的后续实验：

附录 D · 实验预注册模板

课题名称：
日期（预注册时间戳）：
假设（方向性，可证伪）：
自变量 / 因变量：
模型与采样参数（含 temperature/top_p/seed）：
样本量与其依据：
统计分析方法（含多重比较校正方案）：
预期的备择结果与其解释：
数据与代码存放位置：

全文完（第零至十四编 + 附录 A–D）。核心论断均按【公开】/【强推断】/【推测】三级标注置信度；随 Anthropic 新论文/新模型发布，第一、五、六、七编内容建议每季度回访更新。

# 人工智能
Logo
亚马逊云科技技术品牌专区

更多推荐

cover

基于STM32的全屋环境智能监测与预警终端设计

avatar 亚马逊云科技技术品牌专区

Keras：面向人类的深度学习库

Keras3支持多后端（TensorFlow、PyTorch、JAX），通过设置环境变量切换，兼容指定版本。pip安装后可用Sequential API快速构建CNN模型，如MNIST分类示例，实

avatar 亚马逊云科技技术品牌专区

AI行业日报｜2026-09-25：5个热点事件

本期行业动态聚焦于端侧算力重构、自主智能体工作流、开发工具经济模型、网络隔离架构设计与公共部门合规审查。以下结合一线技术场景进行结构化梳理，供 AI 研究员与软件工程团队参考。 PrismML 正将其轻量级语言模型适配至搭载高通处理器的智能眼镜终端 1 。该平台的核心战略指向开源权重模型的本地化运行，旨在最大化挖掘穿戴设备现有算力的利用效率 1 。对于嵌入式与边缘计算开发者而言，此类微型模型向低功

avatar 亚马逊云科技技术品牌专区