一个正在发酵的传言

八月底，硅谷圈子里流传着一个不算小的消息：Ilya Sutskever 的 SSI（Safe Superintelligence）可能要发布第一个模型了，架构方向直指 TTT——Test-Time Training。

信号有几个：a16z 合伙人 Martin Casado 隐晦地暗示看到了一个新模型；投资人 Gavin Baker 在播客里直接说"SSI 会在八月发模型"；SSI 的投资人 Jed McCaleb 之前还合著过一篇论文，明确论证"长上下文本质上是一个持续学习问题"。最硬的信号是 NVIDIA——七月底刚宣布对 SSI 的 50 亿美元战略押注，并且据说是看过 SSI 内部研究之后才决定下这个注。

需要说明，这是传言级别的信息，SSI 本身零产品零论文，没有官方确认过 TTT 架构。但对一家由 Ilya 领衔的公司，能凑齐 NVIDIA 战略押注 + 投资人集体暗示 + 学术脉络对齐这三样东西，已经不是普通的空穴来风了。

不管这个传言最后被验证还是被证伪，一件事已经明确：“让模型不再只是被动读信息，而是在使用中真的改变自己”——这条路正在被顶级研究者郑重对待。

这就是今天我要讲的 TTT。

---

先讲个学萨克斯的故事

想象你在学萨克斯。

刚开始，你每吹一个音都要低头看谱。眼睛盯着五线谱，找到那个音，手指摁下去，嘴巴吹。下一个音？再低头、再找、再摁。一首曲子从头到尾，你的眼睛一刻也离不开乐谱。

这就是今天大模型在做的事——每次回答你的问题，都要把之前所有对话从头"读谱"一遍。

但真正的萨克斯手不是这样演奏的。练了几个月之后，曲子已经"长进了手指里"。乐谱不用了，甚至闭着眼睛，身体就知道下一个音在哪。这不是记忆更好，是它真的变成了你身体的一部分。

这个比方来自 Karpathy（前 OpenAI 联创），他用它来描述一个方向：能不能让模型像人练琴一样，不只是在"读"信息，而是真的把信息"学"进自己身体里？

TTT，就是这条路上迄今最清晰的一个方案。而且——如果 SSI 那个传言是真的——它可能马上就要走进产品世界了。

---

这个专栏想干什么

我打算写一个叫「漫话大模型」的专栏。

起因很朴素。这几年冲进 AI 应用赛道的人越来越多——工程、产品、运营、创业者、决策者——但绝大多数不是算法背景。每次跟他们聊，我都能碰到相似的画面：产品同学想做一个"能记住用户习惯的助手"，但说不清这件事在技术上难在哪；创业者看到"上下文窗口 100 万 token"的宣传，不知道该不该兴奋加码；工程同学接一个模型能力时，能跑起来但对底下发生了什么心里没数；Leader 评估一个技术方案时，只能靠"团队说行"来做判断。

中间缺了一层东西——从论文的数学语言，到能指导决策的直觉之间，缺一座桥。

这个专栏想做的就是这座桥：用图和大白话，把一个算法"大概在干什么"讲清楚，讲到你能拿它去判断自己手上的事。

约定三条：公式统一放在文末附录，主线正文一个都不出现；每篇聚焦一个具体算法，不做综述；最后一定回答"这东西跟我的工作有什么关系"。

第一篇讲 TTT。选它是因为它同时满足两个条件：机制足够简洁，一张图能说明白；同时它触及了一个所有做 Agent 的人都关心的问题——模型能不能在用的过程中变聪明。

---

一、先说清楚今天的模型"不会学习"

要理解 TTT 特别在哪，得先看清现在的模型是怎么工作的。

我们平时用的大模型（GPT、Claude、Qwen 这些）都是 Transformer 架构。它的工作方式可以这么理解：训练完成的那一刻，模型的"脑子"就被焊死了。

之后你跟它对话，无论聊多久、无论你纠正它多少次，它的参数——也就是那几百上千亿个数字——一个都不会变。

那为什么它看起来"记得"你刚才说的话？

因为它把你说过的话，全部当成"每次提问时要重读一遍的材料"。

回到萨克斯的比方：今天的模型就是那个永远离不开乐谱的初学者。它的乐谱（KV cache）越来越长——你跟它聊的每一句话都在往谱子上加音符。每次它要回答你，就得从谱子第一个音符重新扫到最后一个。它确实"知道"前面的旋律，但那不是因为它会吹了，而是因为它每次都重读了一遍谱子。

这个机制叫注意力（Attention），那份越来越长的乐谱叫 KV cache。它带来两个后果：

第一个后果是成本随长度暴涨。 谱子越长，每次重读的代价越大。而且不是线性增长——对话长度翻倍，重读的开销大约变成四倍。这就是为什么长上下文那么贵、那么慢。

第二个后果更本质：这个"记住"是一次性的。 会话结束，谱子扔掉，模型回到出厂状态。它跟你聊了三个小时，学到的东西是零。下次见面，还是那个它。

这就是今天所有 Agent 面临的天花板。 我们给 Agent 加记忆库、加向量检索、加长期 memory——但这些都是在"给它换一本更厚的谱子"，不是"让它变聪明"。它的脑子始终没动过。

---

二、TTT 的想法：把"读谱"变成"练琴"

TTT 这篇论文（全称 Test-Time Training，测试时训练）提出的想法，用一句话说就是：

别记谱了，边读边练。

具体来说：模型在读你的输入时，不是把内容存进一份越来越长的乐谱，而是每读一小段，就用这段内容做一次真正的训练，把它练进自己的参数里。

注意"真正的训练"这四个字。它不是打个比方——TTT 里发生的就是标准的梯度下降：算损失、求梯度、更新权重，跟我们平时训练模型的动作一模一样。区别只在于，这件事发生在推理的时候。

回到萨克斯的比方：TTT 这位演奏者不背谱。你给他弹一段，他就当场把这段"练"进指法——身体真的变了一点。你弹得越多，他被改造得越多。等你弹完，站在你面前的已经不是刚开始那个人了。

这个设计有个立刻能看出来的好处：成本不再随长度暴涨。因为不管你弹了多少，他的容量是固定的（参数量不变），每读一个新 token 的代价是恒定的。对比之下 Transformer 是读得越多、每个新 token 越贵。

但真正有意思的地方不在这儿。有意思的是下一个问题——

它凭什么能"学"？训练需要标准答案，推理的时候哪来的标准答案？

---

三、关键机关：它自己给自己出题

这是 TTT 最精妙的一环，也是整篇文章我最想让你记住的部分。

正常训练模型需要标注数据：输入是什么、正确答案是什么。但在推理阶段，用户只给了输入，没给答案。那 TTT 拿什么算损失、拿什么做梯度下降？

答案是：它把输入本身拆成两半，用一半去猜另一半。

这个套路有个名字叫自监督学习，但你不用记这个词。你只要记住这个动作：

拿到一段内容，先遮住一部分，然后让模型根据没遮住的部分去还原被遮住的。还原得准不准，这就是损失；朝着还原得更准的方向调整参数，这就是学习。

这就像一个人自学的方式：拿一本书，看着题目先自己想答案，再对照书上的解答，发现想错了就调整理解。整个过程不需要老师，因为答案就藏在材料本身里。

为什么这样有用？因为要能从残缺的信息里还原出完整的内容，模型必须真正理解这段内容内部的关联结构。你能通过前半句猜出后半句，说明你抓到了这段话的逻辑。所以"还原得准"这件事，天然逼着模型去理解材料。

这里还有一个容易被忽略但很重要的细节："遮哪一部分、拿什么去猜"这件事本身，也是学出来的，不是人工设定的。

在正式训练阶段（也就是模型出厂前），系统会去学习"怎么出题最有利于最终目标"。相当于不只是让学生自学，还专门训练了一个"最会出题的老师"住在模型里面。等模型上线以后，这个老师就自动开始给它出题了。

这一层"学习如何学习"，是 TTT 跟以往那些花式 RNN 的本质区别。

---

四、套娃结构：模型里面还有一个模型

到这儿你可能会问：既然要在推理时做梯度下降，那被更新的到底是什么？整个大模型的几百亿参数都要动吗？

不是。这就要说 TTT 的结构了，它是套娃式的。

传统 RNN 的记忆是"一个数字向量"——一串数字，用来概括到目前为止看过的所有内容。这个设计的问题是表达能力有限：一串数字能装的东西太少，内容一长就装不下了。

TTT 换了个思路：记忆本身不是一串数字，而是一个小模型。

具体来说：

• 外层是我们熟悉的大模型，正常训练、正常出厂，参数固定
• 内层在大模型的每一层里，藏着一个很小的模型。这个小模型的参数，就是"记忆"本身
• 你每输入一段内容，内层这个小模型就被训练一次，参数变一点

所以"记忆"在 TTT 里不再是一份数据，而是一个持续被训练的小模型的权重。

论文给了两个版本，差别就在这个内层小模型有多复杂：

TTT-Linear — 内层是最简单的线性变换。轻量、快，效果已经不错。有个很有意思的理论结果：如果把内层设成这种最简形式，TTT 在数学上等价于线性注意力。也就是说，过去那些线性注意力的工作，其实都可以被看成 TTT 的特例。

TTT-MLP — 内层换成一个两层的小神经网络（MLP），表达能力更强。代价是更慢、更吃内存，但在长上下文场景下明显更好——因为脑容量大，长内容里的复杂结构才装得下。

这个"内层可以任意替换"的设计还有个更大的含义：论文提到，内层理论上可以是任何模型——甚至可以是另一个注意力层，或者另一个 TTT 层。套娃可以继续套下去，形成多层的"学习如何学习"。这条路目前还没走远，但方向是敞开的。

---

五、效果到底怎么样

讲机制讲得再漂亮，也得看数据。这里我只挑三个我认为最能说明问题的结论。

第一，短上下文上打平，不算惊艳。 在 2k 长度上，TTT-Linear 跟 Mamba 差不多，两者都跟 Transformer 差不多。这说明 TTT 至少没有为了新机制牺牲基本功。

第二，长上下文上拉开差距，这才是重点。 到 8k 长度，TTT 的两个版本都明显超过 Mamba。更关键的一个现象是：内容拉长到 32k 时，TTT 能像 Transformer 一样，读得越多、预测得越准；而 Mamba 在 16k 之后就不再进步了。

这个对比值得多说一句。Mamba 也是"固定大小记忆"的路线，但它的记忆是一串数字，装满了就装不下了。TTT 的记忆是一个小模型，容量的天花板高得多。这正是"把记忆做成模型"这个选择带来的直接收益。

第三，速度上没吃亏。 直觉上会担心：推理的时候还要做梯度下降，不是慢死了？论文做了工程优化（把逐 token 更新改成小批量更新，并且用矩阵乘法的形式来算），最后 TTT-Linear 在 2k 长度上比 Transformer 还快 10%。而且随着内容变长，优势会继续拉大——因为 Transformer 是每个 token 越来越贵，TTT 是恒定的。

但要诚实说边界。 TTT 目前的实验规模到 1.3B 参数，跟今天真正在用的模型（几百亿到上千亿）还差着两三个数量级。架构在小规模上的优势能不能撑到大规模，这是完全没有被验证过的事。历史上有不少架构在小规模上很漂亮、放大后优势消失。所以下面聊"想象空间"的时候，请一直记着这个前提。

---

六、对做 Agent 的人意味着什么

现在回到最实际的问题：这东西跟你的工作有什么关系。

它触及的是 Agent 最根本的缺陷

今天所有 Agent 产品，本质上都在解决同一个问题的变体：怎么让它记住东西。

我们的解法都是外挂：加向量数据库做检索、写 memory 文件、维护用户画像、把历史对话摘要压缩后塞回上下文。这些方案能用，但你有没有想过它们的共同点——

它们全都是在"给模型递材料"，没有一个真正改变了模型本身。

模型永远是那个模型。它不会因为服务了你三个月就更懂你，只会因为你的资料库更全了而检索得更准。这就像一个员工干了三年，业务水平一点没长，只是他的文件柜越来越整齐。

TTT 指向了另一条路：让模型在服务的过程中真的发生改变。 每一次交互都在改造它的参数，用得越久，它跟你的贴合度越高。这不是检索得更准，这是它真的变了。

三个具体的想象方向

方向一：个性化从"检索"变成"内化"。

现在做个性化，做法是把用户偏好存下来、每次对话时检索出来塞进提示词。这套方案的上限很明显——偏好条目多了就检索不准，而且模型只是"被告知"了你的偏好，不是"理解"了你。

如果模型能在交互中真的调整参数，个性化就变成了内生的。用它三个月之后，它对你的理解不在某个数据库里，在它自己的权重里。这两件事的体验差异会很大。

方向二：长期任务里的"环境适应"。

考虑一个跑几天的 Agent 任务：接入一个陌生系统、摸清它的规则、逐步优化操作方式。今天的做法是把踩过的坑记录下来，下次操作前检索。但每次它都是"查笔记后照做"，而不是"熟练了"。

TTT 这类机制让"熟练"成为可能——它可以在跑的过程中真的适应这个环境，而不只是积累一份越来越长的坑位清单。

方向三：成本结构的改变会打开新场景。

这个更工程但也更直接。今天很多产品形态被长上下文成本卡死了：想让 Agent 持续观察一个系统好几天，算算 token 账就放弃了。如果"读得再多，每个 token 成本不变"这件事成立，那么"持续在线、一直在学"的 Agent 才有商业可行性。

但请务必冷静

我必须把话说回来，因为这个专栏的价值取决于诚实。

TTT 是一篇研究工作，不是一个可以拿来用的方案。 前面说过，实验规模到 1.3B，跟生产可用差着两三个数量级。而且真要用到 Agent 上，还有一堆没解决的问题——比如它在交互中"学"到的东西怎么保证是对的？如果用户给了错误信息，模型岂不是把错的也学进去了？学了新东西会不会把旧的忘了（灾难性遗忘）？多用户共享一个模型时，A 用户的适应会不会污染 B 用户？

这些问题论文都没回答，因为它讨论的是语言建模，不是 Agent 系统。

所以正确的姿势是： 把 TTT 当成一个信号，而不是一个方案。它告诉你"让模型在使用中改变自己"这条路在技术上是通的、有人在认真走。至于什么时候能用上——不知道，可能很久。

但知道这条路存在，跟不知道它存在，在做技术判断的时候是两种状态。下次有人跟你说"我们的 Agent 会自我进化"，你至少能问出一句：你说的是外挂了记忆库，还是模型参数真的在变？

---

七、为什么大佬愿意押注它

写到这里，你可能会有一个合理的疑问：既然 TTT 在大模型规模上未必打得过 Transformer，Ilya 这样的顶级研究者为什么还愿意押注它？NVIDIA 又为什么敢下 50 亿美元这样的赌注？

这个问题值得单独讨论，因为它关系到你怎么判断"下一代架构"这件事。

一层理解：他们不是在赌"跑分更高"

首先要明白一件事：大佬押注一个方向，跟研究员发论文的评价标准是不一样的。

论文的目标是在同一个 benchmark 上打赢基线；投资的目标是判断"这条路的天花板在哪"。这两件事经常错位。历史上很多"跑分不如现有方法"的方向后来大放异彩——比如 Transformer 刚出来时，在很多 NLP 任务上打不过精心调过的 LSTM。Ilya 在 OpenAI 时代做的很多决策，都是在别人还在优化 benchmark 时，赌"路径根本不同"。

所以 TTT 值得关注的点，不是它现在的 8k 上下文能不能打过 Transformer——是它触及了一个 Transformer 结构上永远解不开的问题：模型自己不会变。

二层理解：Ilya 明确说要从 Scaling 转向 Research

2024 年底 NeurIPS 上，Ilya 有一次广为流传的演讲。他说的核心一句话是：“预训练即将结束”。

他的完整论述是：互联网上的高质量文本是有限的，我们大概已经把它耗尽了；单纯把模型做大、数据做多，这条路正在触顶；下一阶段真正重要的问题变成——在推理时（test time），模型该怎么进一步"处理"信息？

这个判断催生了两条不同的技术路线：

• OpenAI o1 系列 走的是"test-time compute"：让模型在回答前先在草稿纸上多想一会儿。信息还是外部的，但推理链条变长了
• TTT 走的是"test-time training"：让模型在读信息的过程中真的改变自己。信息从"读到的"变成"学到的"

两条路都是 Ilya 说的"从 Scaling 转向 Research"的具体化，但 TTT 这条路更激进——它挑战的是"模型权重训完就冻结"这个从 GPT 到今天所有 LLM 都遵循的底层前提。

三层理解：数学上的"漂亮"

TTT 有一个不常被强调、但对研究者极有吸引力的性质：它在数学上统一了 RNN 和 Attention。

前面提到的两个等价性定理不只是理论玩具。它们说的是：过去几十年做序列模型的所有主流路线——RNN、LSTM、Mamba、Attention——都可以被看作 TTT 的特例，取决于你把内层小模型 f 设置得多复杂。

这种"统一视角"在物理学史上是有先例的：麦克斯韦方程把电和磁统一起来之后，才有了后续所有电磁学的突破。当一个新框架把几个原本分立的方向纳入同一张地图，通常意味着地图上还有大片没走过的地方。TTT 现在的 Linear 和 MLP 两个版本，只是这张地图上两个具体的点。

对研究者来说，这个连续谱意味着巨大的探索空间。而对 Ilya 这样的判断者来说，探索空间的大小是评估一个方向长期价值的核心指标。

四层理解：NVIDIA 押 50 亿的硬件视角

最后一层专门说 NVIDIA 那 50 亿美元的账。

你可能会想：一家卖 GPU 的公司，为什么会为一个还处于研究阶段、连产品都没出的架构下这么大的注？"看好 Ilya"当然是理由之一，但不足以解释 50 亿这个量级。

真正的逻辑在硬件层面。今天的推理硬件——H100 也好、B200 也好——设计目标是尽可能快地跑固定权重的前向传播：权重只读，一次加载常驻显存，只做矩阵乘法。整个硬件栈从底层电路到 CUDA kernel 都是围绕这个假设优化的。

但 TTT 打破了这个假设。权重不再是只读的，它在推理过程中持续被更新——这意味着推理硬件的工作模式要变。从"跑固定权重"扩展到"跑正在改变的权重"，涉及到梯度算子、权重写回、缓存一致性等一系列硬件级别的改造。

对 NVIDIA 来说，这是一个远比"更快更大"更值钱的机会——如果下一代主流架构真的需要 test-time weight update，那整个推理硬件市场要重新洗牌一次。押 50 亿参与 SSI 的研发，不只是买一个软件的成功概率，更是提前锁定"下一代硬件为什么长这样"的定义权。

这也是我为什么觉得这个信号比 SSI 传言本身更硬——硬件厂商押注的是"接下来五年推理形态要变"这件事本身，而 SSI 只是这件事的一个具体载体。

最后再泼一次冷水

上面四层理解合起来告诉你：大佬押注 TTT，赌的不是它明年就赢，是它 5-10 年后可能定义 Agent 时代的架构范式。

但也必须诚实说：这个赌注可能是错的。历史上多的是被顶级研究者看好、最终没成的方向。TTT 的连续学习稳定性、多用户隔离、错误信息污染、以及最关键的"能不能在千亿参数规模上保持优势"，这些问题都没被验证。

正确的态度是：把 TTT 当成一个需要认真跟踪的方向，而不是一个已经确定的答案。Ilya 押 5 年，你也可以给自己一年——一年后如果 SSI 的第一个模型出来了、benchmark 站得住脚，那就是这个方向"从潜力变成现实"的关键信号。

---

结尾：一句话记住 TTT

如果这篇只能带走一句话，我希望是这句：

Transformer 把你说过的话当成"每次要重读的材料"；TTT 把你说过的话当成"用来训练自己的课程"。

前者的记忆在笔记里，后者的记忆在脑子里。

---

附录：给想深一点的同学

这部分是给愿意看公式的同学准备的，跳过完全不影响前面的理解。

自监督损失函数。 TTT 在前向过程中用的损失是一个重建任务：

$$\ell (W;x_t)=\Vert f({\theta }_K{x}_t;W)-{\theta }_V{x}_t{\Vert }^2$$

θ_K x_t 是"训练视图"（遮挡后的输入），θ_V x_t 是"标签视图"（要还原的目标），f 是内层小模型。这就是正文说的"遮一半猜一半"。关键在于 θ_K 和 θ_V 这两个投影矩阵不是人工设定的，而是在外层训练里学出来的——这就是正文提到的"住在模型里的出题老师"。

权重更新规则。 隐状态 s_t 直接就是内层模型的参数 W_t，更新方式是标准梯度下降：

$$W_t=W_{t-1}-\eta \nabla \ell (W_{t-1};x_t)$$

输出则是用更新后的权重做一次前向：z_t = f(θ_Q x_t; W_t)。

论文对压缩机制有一句很好的解释：W 会记住那些产生大梯度的输入——直观地说，就是让它学到很多东西的那些输入。

与线性注意力的等价性（定理一）。 当内层取 f(x) = Wx、用批量梯度下降、学习率取 1/2、W_0 = 0 时，可以推出：

$$W_t=\sum _{s=1}^t({\theta }_V{x}_s)({\theta }_K{x}_s{)}^T$$

代入输出规则后得到的表达式，正是线性注意力的定义。这就是正文说的"线性注意力是 TTT 的特例"。

与 softmax 注意力的等价性（定理二）。 如果内层换成非参数化的 Nadaraya-Watson 估计器，配指数核，可以复现出完整的 softmax 自注意力。

这两个定理合起来给了一个统一视角：内层用参数化模型 → 得到 RNN 类结构（固定状态、每 token 恒定开销）；内层用非参数化模型 → 得到注意力（状态增长、每 token 开销随长度上升）。

工程优化。 两个关键技巧。一是小批量 TTT：把 token 按 16 个一组分批，组内梯度都相对批次边界的权重计算，这样组内可并行。二是对偶形式：避免显式构造中间梯度矩阵，改写成一串矩阵乘法：

$$\Delta =(W_{0}X-X)\cdot \text{mask}(X^{T}X)$$

在 TPU 上这个改写带来 5 倍以上的训练加速——因为矩阵乘法是硬件最擅长的操作。

---

参考资料

TTT 原始论文

1. Sun Y, Li X, Dalal K, et al. Learning to (Learn at Test Time): RNNs with Expressive Hidden States. arXiv:2407.04620, 2024. https://arxiv.org/abs/2407.04620
2. 官方代码与项目主页：https://github.com/test-time-training／https://test-time-training.github.io/

Ilya 关于"预训练即将结束"的论述

3. Sutskever I. Sequence to Sequence Learning with Neural Networks: What a Decade. NeurIPS 2024 Test of Time Award 演讲，2024 年 12 月温哥华。演讲录像与多家媒体报道可通过关键词 “Ilya Sutskever NeurIPS 2024 pretraining as we know it will end” 检索。

SSI 押注 TTT 的传言与信号

4. NVIDIA 与 SSI 战略合作公告，2025 年 7 月：https://nvidianews.nvidia.com/news/ilya-sutskevers-safe-superintelligence-inc-and-nvidia-announce-long-term-strategic-partnership
5. 投资界报道《Ilya 交卷，黄仁勋砸 50 亿押注 SSI》，2026 年 8 月：https://news.pedaily.cn/202608/568110.shtml
6. 讨论线程：https://www.reddit.com/r/singularity/comments/1vffbbw/

Karpathy 的萨克斯类比

7. Karpathy A. Twitter/X 帖子关于"in-context learning vs weight learning"，多次在公开对谈中提到"读谱 vs 肌肉记忆"这个类比。

相关架构对照

8. Vaswani A, et al. Attention Is All You Need. NeurIPS 2017. https://arxiv.org/abs/1706.03762 （Transformer 原论文）
9. Gu A, Dao T. Mamba: Linear-Time Sequence Modeling with Selective State Spaces. arXiv:2312.00752, 2023. https://arxiv.org/abs/2312.00752 （TTT 论文里的主要对照对象）
10. Katharopoulos A, et al. Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention. ICML 2020. https://arxiv.org/abs/2006.16236 （TTT-Linear 数学等价的对象）

延伸阅读

11. Test-Time Training 项目主页汇集了 TTT 的历史脉络，从 2020 年的图像 TTT 到 2024 年的语言 TTT：https://test-time-training.github.io/

以上引用为写作时可核对的公开材料。传言级别的信息（尤其 SSI 部分）以"多信源交叉"为可信度依据，SSI 官方在文章写作时仍处零产品、零论文状态。

---

下一篇想写什么还没定。如果你有特别想搞懂的算法，欢迎留言点题。