不训练怎么修模型？Weight-Space Programming 解读：让 LLM 直接读写神经网络权重，0.016% 的改动把 Qwen 数学正确率从 7.9% 提到 48.1%

深度学习发展十几年，神经网络权重一直是个"只写不可读"的黑盒：写入靠 Adam、Muon 这类符号优化器一圈圈梯度下降，读取靠推理时的前向传播，没有人能直接看懂一长串浮点数到底编码了什么。2026 年 11 月初，一篇题为《Sparks of Weight-Space Programming》的博客在技术社区冲上热榜第一，它用一组系统实验挑战了这个假设：前沿大模型（文中使用 GPT-6 Astra）已经能直接"读懂"小型神经网络的原始权重，甚至不经过任何训练循环，一次性改写权重修好模型缺陷。作者把这个新范式命名为 Weight-Space Programming（权重空间编程）。这篇文章按"是什么—怎么验证—怎么修—怎么从零写—怎么理解边界"的顺序把它拆开讲清楚。

一、Weight-Space Programming 是什么

定义只有一句话：让通用大模型围绕一段自然语言目标，直接读、直接写目标神经网络的权重——中间不经过优化器，尤其不经过梯度下降。

过去我们让 LLM 优化的是文本产物：提示词、训练代码、超参数。理由听起来很硬：文本没有 principled 的爬山算法，只能靠模型推理；而可微的神经网络权重有梯度下降，理应留给数学。这篇博客报告的正是这条边界开始松动：推理驱动的优化，正在从文本空间扩展到权重空间。作者的观点句很直白——深度学习的历史上，我们把自己简单的归纳偏置编码进 Adam、Muon 这样的微型符号优化器；接下来，权重将被"会针对权重做推理的 LLM"原生优化。

二、怎么验证模型真的"读懂"了权重：三个盲测实验

判断"读懂"最干净的办法是盲测：只给权重文本，不给任何运行环境，看模型能否说出这个网络是干什么的。

实验 1：这是哪个游戏的策略网络？ 作者用 PPO 训了四个游戏策略（Breakout、Pong、Pac-Man、Freeway 的自制网格版），四个网络结构完全相同——MLP 500→32→32→5，tanh 激活，共 17,253 个权重，输入都是同样的 10×10 网格 5 通道、输出同样的 5 个动作 logits，从结构上完全无法区分，唯一区别就是权重本身。把原始权重作为文本喂给 Astra，不给候选游戏名单，四个网络全部答对，Breakout 一例置信度 99%。它读出的线索很有解释性：比如 Breakout 网络里"agent"输入通道的第一层权重集中在网格底行——那正是挡板所在的位置。

实验 2：这个扩散模型画的是什么形状？ 三个 DDPM 分别训练生成实心圆、方形、三角形（12×12 灰度图，MLP 160→64→64→144，ReLU，23,824 个权重）。明确禁止工具调用和前向计算后，Astra 仍能从权重判断各自生成什么形状。更有意思的是它的"读法"：它在输出层权重里找出每个隐单元画出的一段形状边缘，然后把边缘拼成轮廓图——但画出来的全是空心轮廓，而真实模型生成的是实心图形。这个系统性错误恰好说明它不是在偷偷算前向传播，而是真的在读权重的几何结构。

实验 3 与实验 7：只看中间层。 作者还做了更难的版本：去掉首末层、只给中间层，让 Astra 判断小型语言模型学的是什么语言；以及给出两个语言模型、判断哪一个被训练成谄媚型（sycophantic）。这类实验直指可解释性研究的核心痛点——模型"怎么想"往往发生在中间层。

三、怎么"修好"权重：两个一次性修复

读懂只是第一步，Weight-Space Programming 的卖点是用推理替代优化。

实验 4：修一个跑不过关卡的控制策略。 一个物理控制任务里，训练好的策略永远无法让小车越过障碍条。Astra 不重训、不微调，一次性改写 3.5% 的权重，成功率从 0% 直接拉到 100%。

实验 8：给 Qwen3.5-0.8B 修数学能力。 这是全文最重的一组数据。任务要求：不用梯度、不许写训练循环，让这个 0.8B 小模型数学变强。Astra 的做法是在权重里定位出一个引发"推理循环"的问题——恰好是 Qwen 官方模型卡里自己警告过的已知缺陷——然后原生编辑 0.016% 的权重完成修复。同样的采样设置下，MATH-500 正确率从 7.9% 提到 48.1%，约为原来的 6 倍；而且这个修复天然泛化：指令遵循能力 IFEval 直接翻了约 3 倍，属于"修一个点、带一片"的效果。

四、怎么"从零写"权重

第三层能力是生成：实验 5 让 Astra 从零写出玩三个 MinAtar 游戏的网络，其中部分网络胜过用 PPO 训练了 1 亿步的策略——而且在完全不给环境反馈的情况下完成；实验 6 则是从零写一个下围棋的网络。人类手工构造权重几乎不可能，这一格能力此前是空白。

五、怎么理解它的意义与边界

意义在两处。 其一是优化范式：如果"围绕自然语言目标直接改权重"可以规模化，模型迭代就多了一条与梯度下降并行的路径，算力门槛形态完全不同。其二是可解释性：一个能读权重的 LLM，本身就是一件新的解释工具——实验 2 里"读出空心轮廓"的过程，就是一次对权重几何结构的自然语言解释。

边界也要看清。 这是一篇明说"非常早期"的结果报告：读权重实验集中在几万权重量级的小网络；真实语言模型目前只有 Qwen3.5-0.8B 一例；结论全部来自单一前沿模型的行为，换模型是否成立、大模型权重是否还可读，都还是开放问题。抱着"明天就能用它修生产模型"的期待会失望，把它当作一张"权重可读写"的路线图更合适。

普通开发者可以怎么动手体验： 训一个几千权重的小 MLP（比如手写数字或网格小游戏策略），把权重导出成文本，配上输入输出的自然语言描述，喂给手头最强的模型做盲测，让它猜网络功能、指出可疑权重——这就是 Weight-Space Programming 的最小复现，一个晚上就能跑通。

小结

Weight-Space Programming 把神经网络权重从"优化器的私有产物"变成"LLM 可读写的编程对象"：读（盲测识别网络功能）、修（一次性改 3.5% 或 0.016% 权重修复缺陷）、写（从零构造超越强化学习基线的网络）三层能力都有了首批数据。它还很早期，但方向值得每个做大模型工程的人放进视野——当下一次"调不动了"的时刻到来，除了加数据、换架构，可能还有第三选项：让另一个模型直接读读你的权重。

（数据来源：个人博客《Sparks of Weight-Space Programming》，2026 年 11 月发布，全部实验设置与数据引自原文。）

王亚博（Abel Wang）