🎬 漫画成果展示

AI 第一次给 AI 动手术

只改 0.016% 的参数，数学成绩从 7.9% 涨到 48.1% ｜ 含 2 张思维导图

封面

第1页

思维导图①

第3页

第4页

思维导图②

第6页

第7页

上周刷到这条消息的时候，我第一反应是标题党。改权重？不训练？还让另一个大模型来改？这三个词凑一块儿，怎么看都像自媒体为了流量硬编的。 直到把几篇原始报道和论文摘要翻完，才意识到这事儿是真的，而且比标题写的还要离谱一点。 顺手做了个决定：这么有意思的事，光写字太干了，干脆让 AI 把它画成漫画。于是就有了下面这套 9 页的科普漫画——包括两张思维导图。 先说结论：MIT CSAIL 的团队让 GPT-6 Astra 直接读写 Qwen3.5-0.8B 的神经网络权重，只动了 131,072 个参数——占全部参数的 0.016%——MATH-500 数学成绩从 7.9% 涨到 48.1%。全程没有梯度，没有反向传播，没有重训。 他们给这套方法起了个名字：Weight-Space Programming，权重空间编程。

先搞清楚：权重到底是个什么东西

如果你已经知道权重是啥，这段可以跳过。 神经网络训练完之后，留下的就是一堆数字，叫权重。Qwen3.5-0.8B 有 8 亿参数，意味着有 8 亿个这样的数字。这些数字决定了模型每个神经元"听谁的话、听多少"。 传统上我们怎么改这些数字？跑梯度下降。给模型喂数据，算损失，反向传播，一点点挪。这个过程慢、贵，而且你没法精确控制它改哪儿——它像个黑箱，你只能喂数据、看结果、再喂数据。 这次不一样的地方在于：研究者把权重当成文本，直接喂给了另一个大模型。

它到底是怎么"读"权重的

流程拆开看其实不复杂，难的是让大模型真的读懂。 第一步，把目标模型某一层的权重矩阵序列化成数字串。不是随便序列化，要保留结构信息，让大模型能看出哪一列对应哪个特征方向。 第二步，把这段数字串连同任务描述一起喂给 GPT-6 Astra，问它：这个模型在做数学题的时候，卡在哪儿了？ 第三步，Astra 给出的答案不是"你需要更多数据"，而是具体的定位：第几层、第几列、哪个特征方向在制造死循环。 小 Q（Qwen3.5-0.8B）的问题很典型：做数学题时它会在同一个思路上打转，绕了三万个 token 也出不来。这不是它不会算，是它被某个特征方向"锁"住了，反复回到同一个错误分支。 第四步，也是最关键的一步：对两层各 64 列的输出权重，减去这个特征方向。131,072 个数字，改完。 没有梯度，没有 loss 曲线，没有 checkpoint。改完直接跑测试。

数据摆在这儿

基准	术前	术后	变化
MATH-500	7.9%	48.1%	约 6 倍
GSM8K	13.8%	67.1%	约 4.9 倍
IFEval（指令遵循）	21.0%	62.3%	约 3 倍

我盯着这组数字看了挺久。7.9% 到 48.1%，涨了 40 个百分点，但注意——48.1% 依然不是一个"能用"的数学成绩。它只是从"基本不会"变成了"会一半"。 这个细节很多报道没提。它不是把一个差模型变成了好模型，是把一个几乎废掉的模型救回到了及格线附近。价值在于路径，不在于终点。

更让我在意的是那个"认人"的实验

论文里还有个实验，我觉得比改权重更值得琢磨。 研究者把四个不同游戏的模型权重，各取 17,253 个数字，混在一起给 Astra 看。Astra 不用运行模型，光看这些数字，就能以 99% 的置信度判断出哪个模型在玩哪个游戏。 这意味着什么？意味着模型的权重里，真的编码了"它在干什么"这件事，而且这个信息是可以被外部读取和理解的。 以前我们说模型是黑箱，只能通过输入输出去猜它在想什么。现在有人证明了：箱子其实是透明的，只是我们之前没学会那门语言。

三个可能长出来的新行当

我把这事儿往产业上想了想，觉得至少有三个方向会被撬动。 模型审计。 现在做模型评估，主流办法是跑 benchmark、跑红队测试，本质还是"看行为"。但如果权重可读，审计就可以直接看"心里想什么"。一个模型有没有藏着不该有的倾向，读一遍权重可能比跑一万条测试用例更快。 后门检测。 后门攻击的原理是在权重里埋一个触发器，特定输入才会激活。以前找后门靠逆向、靠统计异常，很费劲。权重可读之后，后门就是权重里的一道"暗门"，理论上能被照出来。 能力修复。 这个最直接。线上模型某个能力退化了，以前只能重训或者上补丁 prompt，现在可以定点改权重。像给旧手机换块电池，不用换整机。

顺便说说这套漫画是怎么来的

写到这里插一句题外话。这篇东西的配图，我没找设计师，也没开绘图软件，就是把我理解的这套流程讲给 AiPy 听——它自己拆分镜、定角色、配画风，一口气出了 9 张，还顺手做了两张思维导图。 我改了两轮提示词，主要是让它把"权重"这个抽象概念画成能看懂的东西。最后出来的效果，比我预想的要好。这种"你描述、它生成"的 AIGC 玩法，确实把内容创作的门槛往下拉了一大截。

但我得泼盆冷水

只在 Qwen3.5-0.8B 上验证过。8 亿参数，在今天的模型里算小个子。这个方法能不能 scale 到 70B、到千亿参数，论文没说，我也不敢猜。 已经有观点质疑这是不是"幸存者偏差"——毕竟团队是先找到了一个明确的病灶（死循环），再针对性地剪掉。如果病灶不明确呢？如果问题是弥散在整个网络里的呢？ 还有一个反向的风险：权重既然能被读出来，那也能被更隐蔽地埋进去。可读性和可篡改性是一枚硬币的两面。

最后说点实际的

做内容这几年，越来越觉得这类研究的价值不在"它现在能干什么"，而在"它打开了一扇什么门"。 梯度下降统治深度学习十几年了，我们习惯了"想改模型就重训"。这次 MIT 做的事，本质是在问：除了梯度，还有没有别的路能走到同一个地方？ 答案目前是"有一条小路，能走通一小段"。 至于这条路能不能修成高速公路，得看接下来一两年有没有人把它复现出来、推广开。我个人的判断是：短期内它会先活在"模型维护"这个场景里，长期才谈得上改变训练范式。 --- 文中 9 张漫画由 AI 生成，完整版见文首展示区。