AI 大模型持续学习笔记:捋清 Sleep 框架 wake/sleep

2026-10-27 Google Research 发了篇博客:让大模型把白天在上下文里学到的东西,夜里写进权重。但 79.2 分是什么基座、「动态扩大容量」扩了多少、10M token 相对什么任务设定,都得先对齐口径。

网上不缺「30 秒读懂」和术语扫盲,这篇只回答三件事:为什么这样设计、数字在什么条件下成立、哪些说法被二手报道夸大了。这版的特别之处在于:关键位置中文解读与英文原文(以及官方英文原图)并存,所有 EN · 原文 引用块均逐字摘自公开信源的英文内容摘要,不改写、不回译,读者可以当场核对术语与数字口径;二手解析对不上的地方,照实写出分歧。文末另附《核心术语中英对照表》《关键数字中英口径对照表》与《英文原文引句索引》。


一、知识截止这堵墙:上线即停止成长

大模型靠预训练(pre-training)与上下文学习(in-context learning, ICL)变强,但部署后基本静态,带着固定的知识截止日期(knowledge cutoff)运行,训练之后发生的事不会自动进入参数。ICL 知识只在当前上下文窗口内有效,会话一结束就没了;持续更新参数又容易触发灾难性遗忘(catastrophic forgetting),学新任务会严重拉低旧任务表现。

EN · 原文 “Modern LLMs achieve impressive performance via pre-training and in-context learning (ICL). However, once deployed, they remain largely static, operating with a fixed knowledge cutoff date that leaves them unable to acquire long-term capabilities or adapt to new information.”
— 出处(Google Research Blog, 2026-10-27):原文

中文释义:官方把问题定在「部署后静态 + 固定知识截止日期」,不是「模型记性差」。对照英文原句可以看出,被限制的是 acquire long-term capabilities 与 adapt to new information 两件事,中文资讯稿常把这里简化成「模型不会学新东西」,丢掉了「长期能力」这一层。

EN · 原文 “While updating models with new data seems like the obvious solution, continual parameter updates often trigger catastrophic forgetting, a fundamental issue where learning new tasks severely degrades performance on previously learned ones.”
— 出处(Google Research Blog, 2026-10-27):原文

中文释义:这是官方对 catastrophic forgetting 的定义——学习新任务会严重拉低旧任务表现。注意它是 a fundamental issue,不是「调参不当导致的偶发问题」,所以后文才需要结构性的隔离手段,而不是换个学习率。

EN · 原文 “Alternatively, relying strictly on ICL limits knowledge retention to the immediate context window: once the context session ends, the acquired short-term information is forgotten.”
— 出处(Google Research Blog, 2026-10-27):原文

中文释义:once the context session ends 是硬边界。ICL 不是「记不牢」,而是知识只存在于上下文窗口这段生命周期里;窗口清空,知识就没有载体了。

短期记忆在实现上就是上下文与 KV cache:Transformer 每读一个 token 就把它变成 k、v 两个向量追加进缓存,后面的 token 可以回头查,但缓存越长越吃显存,会话一结束就清空。中文深度解析进一步指出,注意力的更新跨度只有一个上下文窗口,MLP 层在预训练之后基本不动——两头之间是空的:一头是随时蒸发短期痕迹,一头是凝固在训练截止日期的长期参数,缺的不是容量,而是「把短期痕迹转成长期参数」的中间机制。

有中文技术解析借用了人类顺行性遗忘(anterograde amnesia)来类比这个结构:患者能保留久远的旧记忆,却无法形成新的长期记忆,每一个当下都像第一次经历;也有解析把它叫作可塑性-稳定性两难(stability-plasticity dilemma)——不学就过时,硬学就覆盖旧能力。这两处都只是类比,不是论文给出的机制,读作直觉即可。博客给结论,论文给条件,下面凡涉及数字都把条件一起写出来。


二、为什么现有的三条路都不通

路径具体做法为什么走不通事实来源
① 持续更新参数SFT / continued pre-training / LoRA 周期微调破坏性梯度干扰导致灾难性遗忘(catastrophic forgetting),新知识进去一点,旧能力掉一截Google Research 官方博客;多家英文解析一致
② 只靠上下文ICL、长上下文、把新事实塞进 prompt知识只在窗口内存活,会话结束即丢;长上下文还带来 KV cache 显存开销Google Research 官方博客
③ 干脆不动维持静态知识截止,靠外挂检索 / 联网补部署后不再成长,「发布即过时」;外挂只是绕过,参数里什么都没留下官方博客问题描述 + 二手解析归纳

第③条其实不是策略,而是绝大多数线上系统的现状。做 Agent 的团队对此都有一套 workaround:把记忆写进外部文件、塞进向量库、用 handoff notes 在会话之间交接——全部在模型之外。这些办法能缓解症状,但没有回答「模型自己能不能把今天这一课吸收进去,明天不必再讲一遍」。

顺带说清一个容易被资讯稿混用的点:外挂检索改变的是推理时能看到的上下文,参数里一个数字都没动;而 Sleep 要动的是参数本身。两者不在同一层,不是「谁替代谁」的关系。Sleep 想给的是第三条路:既不覆盖旧参数,也不把知识留在会蒸发的地方。


三、Sleep 范式总览:抹掉训练与推理的分界线

图 BI-1 wake / sleep 生命周期(中英双语标签)

暂停输入 / Stop Input

重置临时参数 / Reset Fast Params

用户输入 / Input Stream

清醒态 / Wake Phase

短期记忆 / KV Cache

睡眠态 / Sleep Phase

记忆巩固 / Consolidation

做梦 / Dreaming

长期参数 / Low-rank MoE Experts

依据 Google Research 官方博客机制描述以 Mermaid 代码重绘,中文 / English 双语标签。

官方英文原图 / English original(与上方中文代码图并存对照)

LLMSleep1_Framework

English original: Google Research, “The sleep framework”, 2026-10-27. 中文代码图为重绘,此图为官方英文原图,两者并存以便核对术语与结构。

EN · 原文 “The model gets a continuous periodic lifecycle that alternates between active interaction and offline memory consolidation, which turns fragile short-term context into stable long-term parameters.”
— 出处(Glonce, 2026-10-28):原文

中文释义:continuous periodic lifecycle 是这套范式的关键词——巩固不是一次性的后训练,而是周期性发生的生命周期阶段。fragile short-term context 与 stable long-term parameters 这组对照,正是图 BI-1 左右两端的术语来源。

传统机器学习依赖训练与推理的严格分离,在持续学习框架里,这个区分是人为的(artificial)。英文官方摘要里的原话是 this distinction becomes artificial;一个持续学习的智能体没有「训练结束、部署开始」的那个时刻。

状态输入内部在做什么参数动不动
Active / wake(清醒)正常接收、处理、交互临时信息存进快速、高频的短期记忆组件(上下文 / KV cache / 高频层)不做昂贵的反向传播,保证在线吞吐与时延
Sleep(睡眠)停止接收新输入把算力转向记忆巩固与自我改进解锁预分配的 MoE 记忆块,用自生成练习样本更新数值权重

官方博客明确写了,「睡眠」「做梦」「自我改进」借自神经科学,框架完全在固定的模型架构与人类定义的训练规则内运行;变的只是一小块被预留的数值权重。Model Current 另注明:10 月博客也不是在发布 Gemini 新记忆功能。

EN · 原文 “With this framework, we demonstrate that alternating between active interaction and offline memory consolidation allows LLMs to continuously acquire new facts, retain long-context knowledge up to 10M tokens, and improve complex reasoning.”
— 出处(Google Research Blog, 2026-10-27):原文

中文释义:这句是官方对效果的总括,也是「10M tokens」与「complex reasoning」最常被引用的出处。注意它是三个并列结论,不是「千万 token 任意文档都能完美召回」;10M 的任务设定留在 8.3 与第十节单独交代。

以下为示意伪代码,非官方 API 或开源实现:

# 示意伪代码:Sleep 框架的生命周期(非官方 API)
while model.is_deployed:
    # ---- Active / wake ----
    short_term = KV_cache + context_window
    for turn in session:
        short_term.absorb(turn.input)          # 只写短期记忆
        yield model.infer(turn.input, short_term)

    # ---- Sleep:停止接收外部输入 ----
    model.stop_accepting_input()
    # 第一步:把短期知识搬进长期参数(第四节)
    consolidate(short_term, target=slow_memory_block)
    # 第二步:自生成数据、验收、精修(第五节)
    dream_and_refine()
    # 释放临时容量,回到清醒态
    reset_high_frequency_temporary_params()
    model.resume_accepting_input()

把时间线也铺清楚:配套论文《Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories》(arXiv:2606.03979)2026-06-02 上线、7-10 修订到第二版,更早的版本 2025-09 起在 OpenReview 公开;10-27 的博客是对这项工作的公开讲解,不是当周的新成果。作者以 arXiv 页面与博客口径为准,共四位:Ali Behrouz(Google & Cornell)、Farnoosh Hashemi(Cornell)、Adel Javanmard(Google & USC)、Vahab Mirrokni(Google)。二手报道多只提前两位,v1 PDF 首页与部分中文解读只列三位,属转述署名不一致,本文按论文作者列表统一。


四、睡眠第一步:记忆巩固与知识播种

EN · 原文 “In more detail, sleep consists of two stages: (1) Memory Consolidation: an upward distillation process, called Knowledge Seeding, where the memories of a smaller-self are distilled into a larger network to provide more capacity while preserving the knowledge. As a proof of concept, we present a new Generalized Distillation process for {Knowledge Seeding} (i.e., the combination of on-policy distillation with Reinforcement Learning (RL)-based imitation learning); (2) Dreaming: a self-improvement phase, where the model uses RL to generate a curriculum of synthetic data to rehearse new knowledge and refine existing capabilities without human supervision.”
— 出处(arXiv:2606.03979 Abstract, 2026-06-02):原文

中文释义:这是两阶段最权威的英文定义,逐字保留原句里的 {Knowledge Seeding} 花括号与 smaller-self 连字符写法。三个要点:向上蒸馏(smaller-self → larger network)、GKD = on-policy distillation + RL-based imitation learning、Dreaming 无人工监督。中文报道常把「知识播种」和「做梦」并列成两个平级模块,但摘要里前者属于 Memory Consolidation 阶段的内部实现,后者才是与它并列的第二阶段。

记忆巩固(Memory Consolidation)类比非快速眼动慢波睡眠(NREM),拆开是三个动作。

① 参数扩展:先腾房间,再搬东西。 睡眠期向低频 MLP 块(以 MoE 结构表示)新增一个低秩专家(low-rank expert,由两个低维矩阵参数化),已有专家参数完全冻结。这个设计赌的是:遗忘常常先是个容量问题,才是个优化问题——新知识之所以覆盖旧知识,是因为它们要抢同一块写入位置。

② 知识播种(Knowledge Seeding):一次方向反过来的蒸馏。 常规蒸馏是大模型教小模型,这里是向上蒸馏(upward distillation):教师是更新前的小模型(当前高频模块状态,论文称 smaller-self),学生是挂上新低秩专家后的大模型(larger-capacity student)。

论文摘要把实现写成组合:广义知识蒸馏(Generalized Knowledge Distillation, GKD)+ 在策略蒸馏(on-policy distillation)+ 基于强化学习(reinforcement learning, RL)的模仿学习 Learning to Imitate(LTI)。两个约束值得展开:一是学生表达能力强于教师,直接在教师生成的数据上训练会次优利用新参数;二是睡眠期原则上无法访问外部数据集,主流蒸馏依赖「有一批固定训练样本」的假设不成立。于是:

  • on-policy distillation:学生在自己生成的序列上接受教师 logit 的 token 级反馈,让巩固对齐推理时实际会产生的轨迹——要保住的是行为,不是逐 token 的概率分布;
  • LTI(RL 式模仿学习):教师生成文本,随机遮住后半 / 截取前缀让学生续写;奖励 = 语义相似度(冻结的奖励模型评分)+ 编辑距离(Levenshtein) 加权,一半看语义、一半看字面。中文深度解析给了一句很到位的解释:学生拿到了知识却不太会用,补这段模仿学习就是让它练「怎么用」。

③ 突触修剪(synaptic pruning): 巩固完成后高频块临时低秩参数被重置清空,腾出容量给下一轮;对应图 BI-2 第 3 个节点。官方框架图里那把金色剪刀画的就是这一步。

动作做了什么具体解决什么
参数扩展低频 MoE 块新增低秩专家,旧专家冻结新知识有独立落点,不覆盖旧参数
知识播种GKD + on-policy distillation + LTI 向上蒸馏无外部数据的条件下,把短期痕迹迁进长期参数
突触修剪重置高频临时参数释放容量,保证下一轮 wake 有地方写

睡眠在每个模块更新前触发,确保脆弱知识在被覆盖前先被转移——所以它必须是周期,而非一次性后训练。这条时序约束比任何单个组件都更接近这套设计的本质。


五、睡眠第二步:做梦与自我改进

Dreaming(做梦)类比 REM(快速眼动睡眠),论文摘要定位为「用 RL 生成合成数据课程,在无人工监督下演练新知识、精修既有能力」,四步走:

  1. 随机专家选择:MoE 路由生成合成样本时额外随机激活一个不相干 / 非标准专家,把不同领域的知识混进来;
  2. 梯度重要性筛选:合成样本(dream samples)按基于梯度的重要性(gradient-based importance)排序,高分留下,同时掺入少量随机样本保多样性,避免只在高分区里打转;
  3. 逐条验收:每条高分样本单独跑一次 LoRA 微调、以 ReSTEM 式评估测下游,确有提升才给奖励;奖励写法源自 SEAL(中文深度解析),paperdog 解读亦记作 ReSTEM 式评估;
  4. RL refinement:在评分最高的 dream samples 上做 SFT(supervised fine-tuning)/ 强化式精修。

示意伪代码(非官方接口):

# 示意伪代码:Dreaming 阶段(非官方 API)
def dream_and_refine():
    candidates = []
    for _ in range(N):
        router.force_random_unrelated_expert()      # 混合领域知识
        candidates.append(model.generate_synthetic())  # 自生成 dream sample

    ranked  = sort_by_gradient_importance(candidates)
    selected = ranked.top_k() + ranked.random_few() # 高分 + 少量随机保多样性

    rewarded = []
    for s in selected:
        delta = lora_finetune(s)                    # 每条单独微调
        gain  = evaluate_downstream(delta)
        if gain > 0:                                # 验收闸:确有提升才计奖励
            rewarded.append((s, gain))              # 奖励写法源自 SEAL

    sft_on(top_scored(rewarded))                    # 在最高分样本上做 RL refinement

第 3 步那道验收闸最值得拿走:合成数据必须实测下游变好才保留。把「自生成数据」直接当训练样本是很容易翻车的——模型会把自己编错的东西再学一遍;这道闸是整套设计里唯一现成的、防「错误记忆被固化」的防线,也是任何合成数据管线今天就能借用的规则。中文深度解析另判断「记住新事实」主要靠做梦而非巩固,但属二手解读、非论文原话;摘要把两个阶段的贡献并列归给整套框架,本文不替它分主次。

图 BI-2 睡眠期两步内部流程(中英双语标签)

睡眠开始 / Sleep Start

参数扩展 / Expand Low-rank Expert

知识播种 / Knowledge Seeding GKD + LTI

突触修剪 / Prune Fast Params

随机专家 / Random Expert Routing

梯度筛选 / Gradient Ranking

逐条验收 / Per-sample Acceptance Gate

SFT 精修 / RL Refinement

回到清醒 / Back to Wake

依据 Google Research 官方博客与论文摘要重绘,中文 / English 双语标签。


六、工程拆解:MoE 预分配记忆块与「扩容」真相

官方博客「模型在睡眠期动态扩大自己的容量」+「解锁预分配的 MoE 记忆块」,读起来像「睡一觉就变大一号」,不少资讯稿据此写「参数动态扩容」。中文深度解析逐条回论文核对后:

说法出处实际内容
动态扩大容量、解锁预分配的 MoE 记忆块官方博客每个慢块多挂一组低秩专家
额外参数的规模论文附录 B5 个 64 维 MLP 块,激活参数量保持不变,与基础模型一致
参数何时生效论文 §3.3一开始就预留在模型里,前向与反向时被屏蔽(masked),到睡眠点才解锁;巩固完成后高频块低秩参数被重置,腾给下一轮

结论很干脆:8B 的模型睡完还是 8B。多出来的是一小块低秩适配空间,每睡一轮多挂一组——不是更大的模型、也不是更大的激活参数量。bitshovel 另注明数学实验用 LoRA rank-64——别把它与附录 B 的「64 维块」当成同一件事,公开材料没有把两者等同起来的依据。

宿主架构 HOPE(论文称 Continuum Memory System, CMS):参数组按不同速率更新,注意力最高频(每 token)、MLP(1) 中频、MLP(k) 最低频(paperdog 解读)。Sleep 把新解锁的低秩专家并入稳定低频记忆块;HOPE 来自 Google 2025-11 的 Nested Learning。bitshovel 提醒骨干是 Hope,实验用 Qwen3 / Llama 基座,两者不是同一个模型,读表格时别混。

口径没对齐处:附录「基础模型是 8B 或 3B」覆盖不到表 2 的 Qwen3-1.7B 与 ARC 少样本用的 Llama-3.2-1B,「5×64」在这两组实验上论文此处口径未覆盖(中文深度解析标为附录与实验设置不一致)。要复现或估算显存,这里得自己补。


七、理论依据:知识播种是结构化的低秩压缩问题

EN · 原文 “For consolidation, the analysis treats knowledge seeding as a structured, low-rank compression problem: the model does not copy every detail of its short-term traces, but picks a compact set of directions that best preserve its own on-policy behavior and the semantic qualities the learning objective rewards.”
— 出处(Glonce, 2026-10-28):原文

中文释义:structured, low-rank compression 是这套理论最精确的英文表述,中文里常被松写成「压缩记忆」,容易让人以为是存摘要。原句强调的是挑一组紧凑方向(a compact set of directions),目标是保住 on-policy behavior 与语义奖励,而不是复刻短期痕迹的每个细节。

英文解析 Glonce 转述:对于巩固,知识播种被建模为结构化的低秩压缩(structured, low-rank compression)——模型不复制短期痕迹的每个细节,而是挑一组最能保持自身 on-policy 行为与语义奖励的紧凑方向。on-policy distillation 对齐推理时实际轨迹;语义奖励优先意义与任务相关行为,而非匹配 token 概率;参数扩展提供写入容量而不覆盖已巩固内容。对于做梦,随机专家激活拓宽合成生成时的梯度方向,梯度式筛选再留下有效的。

换成工程语言,这段可以拆成三层意思:第一,这不是「把今天看到的全存下来」,而是在受限的低秩子空间里找一组解,让行为尽量不变、语义得分尽量高;第二,旧参数冻结、新知识只写进新增的低秩方向,等于从结构上隔离了干扰,而不是靠调小学习率去祈祷;第三,代价也很直接——蒸馏、模仿学习、逐条验收都要算力,还要为睡眠期让出调度窗口。理论上的「挑方向」和工程上的「算得起」,是同一件事的两面。


八、实验结果:逐行标口径、基线与来源

中文深度解析 neodrop.ai 声明把博客每个读数逐条回论文核对,定位到 48.9% 与 46.2% 在表 3、79.2 / 69.0 / 46.1 在表 2、10M token 在附录 B.2。这是二手解析,不是我直接读到的论文原文;下面凡带对照数字,均按「论文表格 + 经该解析回核」标注。这也是本文坚持中英并存的理由:博客给结论、论文给条件、二手解析给定位,三者不同层级,混写成一句「官方数据显示」就会把条件丢掉。

8.1 六行读数总表

任务基准与设置对照基线Sleep差值口径 / 来源
数学推理AIME-24 / AIME-25 / HMMT-25GRPO 76.4 / 68.1 / 44.979.2 / 69.0 / 46.1+2.8 / +0.9 / +1.2Qwen3-8B,average@16;论文表 2,经二手解析回核
数学推理(比基础模型)同上Base 73.8 / 68.1 / 42.4同上+5.4 / +0.9 / +3.7同上,无误差棒;论文表 2
知识写入SQuAD 无上下文SEAL 46.748.9+2.2单篇;46.2 的归属在二手解析间有分歧(见 8.3);论文表 3,经二手解析回核
类增量学习CLINC / Banking / DBpediaHope 无睡眠 93 / 84 / 8297 / 92 / 89+4 / +8 / +7官方结果图直接给出(图 BI-3 PANEL B);Llama3 骨干(3B 与 8B)
持续翻译Manchu→EN、Kalamang→EN不适配 10.1 / 15.423.9 / 38.1+13.8 / +22.7ChRF,学完两门语言后;官方结果图直接给出(图 BI-3 PANEL C,含 Sleep-1/2/3)
长上下文BABILongGPT-4 在 128K 处约 36%10M 处约 91%—小模型按 BABILong 官方协议微调;论文附录 B.2,量化来自二手解析

图 BI-3 实验数据三面板 / Three benchmark panels

PANEL A / 面板 A  数学推理  Math Reasoning        Qwen3-8B  average@16
         Base   73.8 | 68.1 | 42.4
         SFT    75.5 | 66.4 | 43.7
         GRPO   76.4 | 68.1 | 44.9
         Sleep  79.2 | 69.0 | 46.1
         对最强基线增益 Gain over strongest baseline  +2.8 / +0.9 / +1.2   无种子方差 no seed variance

PANEL B / 面板 B  类增量学习  Class-incremental    官方结果图 English original figure
         Sleep              97  | 92  | 89
         Hope no sleep      93  | 84  | 82
         InCA               89  | 80  | 77
         No adaptation      78  | 72  | 70

PANEL C / 面板 C  持续翻译 ChRF  Continual Translation
         Sleep-3          23.9 | 38.1
         Sleep-2          22.5 | 37.2
         Sleep-1          21.1 | 35.6
         No adaptation    10.1 | 15.4
         ICL 加入第二门语言后崩塌  ICL collapses after a second language  20.9 -> 10.1

注 / Note  PANEL B 与 C 为官方结果图一手数据  first-party numbers from the official results figure
          PANEL A 对照值经二手解析回论文表 2 核对  cross-checked against Table 2 via secondary analyses

官方英文结果图 / English original results figure(与上方分面图并存对照)

LLMSleep2_Results

English original: Google Research, “The sleep framework”, 2026-10-27. BI-3 的数值逐条抄录自此图,用于核对口径。

这里有个容易被忽略的证据等级差别:「类增量学习」与「持续翻译」两行的数值,可以直接在图 BI-3 分面图 PANEL B / C(以及下方官方英文结果图)里逐条读到——CLINC 的 Sleep / Hope(no sleep) / InCA / EWC / No adaptation 是 97 / 93 / 89 / 80 / 78,Banking 是 92 / 84 / 80 / 75 / 72,DBpedia 是 89 / 82 / 77 / 71 / 70;Manchu→English 的 Sleep-3 / Sleep-2 / Sleep-1 / No adaptation 是 23.9 / 22.5 / 21.1 / 10.1,Kalamang→English 是 38.1 / 37.2 / 35.6 / 15.4。这两组是一手可核验的官方图数据,不依赖二手转述;而 AIME、SQuAD、BABILong 三组的具体对照值并不在官方博客正文里,仍需经二手解析回论文表格核对,下文按此分别标注。

8.2 数学推理对照表(论文表 2)

方法AIME-24AIME-25HMMT-25说明
Base (Instruct)73.868.142.4基础模型
SFT75.566.443.7监督微调基线
GRPO76.468.144.9最强对照基线
Sleep79.269.046.1Qwen3-8B,average@16

(该表见 paperdog 对论文表 2 的转录;博客与多家英文解析均引用 79.2 / 69.0 / 46.1 与 73.8 的基础模型值。)

对照行的选取本身也有口径问题:Flowtivity 把 AIME-24 的对照记为基础模型 73.8 与 on-policy self-distillation 76.6,与表 2 的 GRPO 76.4 并非同一行。两处口径未统一,本文主表按 GRPO 口径,76.6 只当线索、不并入。这正是「同一数字在不同二手报道里被安给不同方法」的典型例子,光看中文转述很难发现。

  • 看跟谁比。 对基础模型 +5.4 / +0.9 / +3.7,对最强基线 GRPO 只剩 +2.8 / +0.9 / +1.2。工程判断该用后一组。
  • 看采样口径。 表 2 用 average@16,没有种子方差;中文深度解析点出:1 分上下的差在这个口径里分不出高下,AIME-25 的 +0.9 就是这一类。
  • 看消融,两个方向都要读。 paperdog 转录显示各组件整体有正向贡献(移除模仿学习约 -1.0 ~ -1.1 分);但中文深度解析指出「去掉语义奖励」在 AIME-25 拿到 69.2,比完整版高 0.2。整体有效 ≠ 每个模块在每个基准上都必有正收益,只报一半都是挑数字。

8.3 其余四组,各自的限定

知识写入(SQuAD):常被引用为「单任务 48.9%、continued pretraining 46.2%(表 3)」,但二手解析之间分歧明显:中文深度解析记作「单篇 48.9(对照 SEAL 46.7,+2.2);持续预训练 200 篇时 46.2」;Flowtivity 记作「喂入 200 passages 后 Sleep 46.2%,对照 base 31.9%、SEAL 43.2%」;themata.ai 写成「48.9% single-task and 46.2% continued-pretraining results」。46.2 究竟是 Sleep 在 200 篇设置下的成绩,还是 continued pretraining 基线自己的成绩,几份报道口径不一致,需回论文表 3 定论;本文不替它们合并成一个数。

EN · 原文 “On factual incorporation, Sleep reached 46.2% on SQuAD after 200 passages, against 31.9% for the base model and 43.2% for SEAL.”
— 出处(Flowtivity, 2026-10-29):原文

中文释义:逐字看英文原句,Flowtivity 明确把 46.2% 归给 Sleep,并写明条件是 after 200 passages、对照是 base 31.9% 与 SEAL 43.2%。而 Themata 的措辞是「48.9% single-task and 46.2% continued-pretraining results」,更像把 46.2 当作 continued-pretraining 这一设置的结果描述。两处英文原句并列,分歧一目了然——这也是不回译、直接贴原文最有用的地方。

持续翻译:满语(Manchu)与 Kalamang 等未见语言近乎零性能衰减,而 ICL、Cartridges、SFT 出现严重灾难性遗忘(官方博客与多家英文解析一致)。图 BI-3 PANEL C 直接标注:加入第二门语言后 ICL 从 20.9 掉到 10.1(Manchu→EN),Sleep 三档 23.9 / 22.5 / 21.1;Kalamang→EN 为 38.1 / 37.2 / 35.6,不适配 15.4。Sotaaz 的独立描述(约 21 / 36 掉到约 10 / 15)与官方图吻合。这组数字最直观的价值不在「Sleep 多高」,而在把 ICL 的崩塌画成了可读的折线。

长上下文(BABILong):官方博客写「保留长上下文知识达 10M tokens、优于 GPT-4 与 Titans 基线」。但必须带上 Model Current 的限定:

EN · 原文 “Its appendix says the small comparison models were fine-tuned using the benchmark’s training protocol; all of them, including Hope, deteriorated substantially without that training.”
— 出处(Model Current, 2026-10-30):原文

中文释义:fine-tuned using the benchmark’s training protocol 是整句的重心——参与对比的小模型都按该基准的训练协议微调过,包括 Hope 在内,去掉这项训练就大幅退化。BABILong 考察事实串联、计数、列表等任务族。所以这是关于特定设置与任务族的证据,不等于「对任意千万 token 文档完美召回」。Flowtivity 也把「10M 结果依赖在该任务上微调」列为未证事项。

类增量学习与 ARC:中文深度解析提醒 93 分是宿主架构 Hope 自己拿的,Sleep 在它之上再加 4 分,不能把 97 全算成 Sleep 的功劳。ARC 少样本方面,ResearchPapers.dev 给出 Transformer 约 80% success,对照 SEAL 72.5%、test-time training 10%(二手解析;基座按中文深度解析为 Llama-3.2-1B,附录「8B 或 3B」口径覆盖不到它)。


九、脉络:从经验回放到 Nested Learning / HOPE / SEAL

论文 §2.3 自己把前人工作列了一遍:

前人工作做了什么Sleep 给出的区别
1992 年经验回放(experience replay)存旧样本,训练时混合重放以防遗忘仍停在训练 / 测试两段论里;Sleep 把巩固做成部署后的周期性阶段
2018 年 World Models 的 dream在生成的环境里「做梦」、生成演练数据Sleep 把 dream 样本用于真正改写参数并逐条验收
把休眠算力用于整理上下文离线期整理 prompt / 上下文只动上下文,参数没动;Sleep 的目标是写进权重
SEAL自编辑 / 自生成数据的自我改进做梦阶段的奖励写法来源,也是知识写入与 ARC 的对照基线
Nested Learning / HOPE(Google, 2025-11)多频率记忆,不同参数组以不同速率更新Sleep 的宿主架构,把新解锁的低秩专家并入稳定低频记忆块

(前三项区别据中文深度解析转述论文 §2.3。)换句话说,「睡眠」「做梦」这些词不是这篇发明的,论文自己也没把贡献说成单点算法突破。Sleep 的整合在于「短期记忆必须在被覆盖前先转移」的时序约束,加上「参数扩展 + 向上蒸馏 + RL 驱动合成演练」被打包进同一套生命周期管理——更像系统级设计,而非单点算法爆破。读这节时不妨把它和工程里的「在线服务 / 离线批处理」对照:真正新的不是离线这一步,而是离线阶段被允许改写模型参数,并且有一道验收闸。


十、边界、质疑与工程代价

单列一节,不唱赞歌。以下均来自官方表述或二手解析/社区复现,不是官方结论。

先放一个社区复现的失败案例。 Sotaaz 用 100-fact 玩具模型试过类似思路:第一版加了 sleep step 反而更差(旧事实保留 27–37%,不加是 38–53%);把步长调小、改成「新事实全对就早停」后,20 次全新运行里才变成平均保留 73.2% vs 50.1%,且每次都胜出。这是二手解析里的独立玩具实验、不是论文结果,但它说明这套机制对训练超参相当敏感,不是接上「多开一个槽位」就必然有效。下面 9 条都该放在这个前提下读。

EN · 原文 “In our 100-fact toy, a sleep step kept 73.2% of the old facts against 50.1% without it, better in all 20 runs, although our first attempt made forgetting worse.”
— 出处(Sotaaz, 2026-10-28):原文

中文释义:although our first attempt made forgetting worse 这半句最要紧,中文转述时最容易被「20 次全胜」盖过去。它是作者自己写下的失败前提,不是本文添加的质疑。

1)研究发表,不是产品发布。

EN · 原文 “This is a research publication, not a product release: there is currently nothing to deploy it in.”
— 出处(mlllm.io):原文

中文释义:nothing to deploy it in 把边界说得比中文「尚未开源」更具体:不是「代码还没放出来」,而是当前没有可部署的载体。explainX 的 Q&A 里「Can I run it?」也答 No release is described in the post;Flowtivity 写 no code shipped with the paper。目前没有开源、没有可部署实现。

2)数字作者自报,基线由作者选定,尚无独立复现。

EN · 原文 “They are the authors’ own numbers, and the post offers no independent replication.”
— 出处(explainX, 2026-10-27):原文

中文释义:这句是证据等级判断,不是对数据真实性的指控;authors’ own numbers 与 no independent replication 是两件独立的事,中文报道常合并成一句「未经证实」。

EN · 原文 “But this is not a released product model: the backbone is the research architecture Hope, experiments use Qwen3 and Llama base models, the numbers are vendor-reported, and this site has not reproduced them.”
— 出处(bitshovel, 2026-11-01):原文

中文释义:vendor-reported 是本文术语表里的固定译法「作者自报数字」,对应的是「由提出方法的一方自己测」。同一句还点明骨干是研究架构 Hope、实验用 Qwen3 / Llama 基座——这两个名字在资讯稿里经常被混成一个模型。Model Current 也声明未复现;Flowtivity 把「基线是作者自己的选择」列为未证事项。

3)时间线别读错。

EN · 原文 “The underlying paper, Language Models Need Sleep, was submitted to arXiv on June 2 and revised on July 10. Its authors also note an earlier version on OpenReview from September 2025. This is not a newly discovered result from this week. Neither source establishes a new Gemini memory feature available to users.”
— 出处(Model Current, 2026-10-30):原文

中文释义:This is not a newly discovered result from this week 与 Neither source establishes a new Gemini memory feature available to users 两句,直接排除两种常见误读:10-27 博客复述的是 6-02 上线、7-10 修订的旧论文(更早 2025-09 在 OpenReview),既不是当周新成果,也不是 Gemini 新记忆功能。

4)增益幅度要看口径。 部分基准相对最强基线只有 +0.9;表 2 是 average@16、无种子方差;消融里去掉语义奖励在 AIME-25 反而高 0.2(详见 8.2)。

5)模型尺寸与评测口径不齐。 附录「8B 或 3B」覆盖不到表 2 的 Qwen3-1.7B 与 ARC 的 Llama-3.2-1B;「5×64」在这两组实验上口径未覆盖;SQuAD 的 46.2 归属与 AIME 对照行写法详见 8.2 / 8.3。

6)10M token 要连着任务设定读。 依赖按 BABILong 官方协议微调,考察特定任务族,不是通用长文档记忆(见 8.3 的英文原句与图 BI-3)。

7)术语借用不等于生物机制。 「Sleep」是计算过程的名字,不是意识证据或生物需求;NREM / REM / 突触修剪 / 顺行性遗忘全是类比。英文解析里这句话写得更直白:‘Sleep’ is a name for a computational process, not evidence of consciousness or a biological need.

8)算力与调度代价没有完整账目。

EN · 原文 “The paper’s main text and tables give no full training-cost accounting (the math experiments use LoRA rank-64 parameter-efficient training); an efficiency appendix exists and we have not audited it line by line.”
— 出处(bitshovel, 2026-11-01):原文

中文释义:no full training-cost accounting 指正文与表格都没有完整成本核算;后半句声明该站未逐行审计效率附录、也未复现实验。做梦要求每条高分合成样本单独跑一次 LoRA 微调 + 用 ReSTEM 式评估测下游,还得安排睡眠窗口、睡眠期暂停对外服务。公开材料中也没有睡眠时长、GPU 小时、相对 continued pretraining 的成本对比——这部分报道未交代。

9)记忆治理:错误记忆会被固化。

EN · 原文 “A model memory should not become durable until its source, effect, privacy boundary and rollback path survive review.”
— 出处(The Plain Signal, 2026-10-28):原文

中文释义:source, effect, privacy boundary and rollback path 四项是可直接落地的审查清单,比中文里泛泛的「注意数据治理」具体得多。Model Current 另有一句常被引用的话:存储信息与判定它正确,是两件不同的事。Flowtivity 提了 custody 论点——谁跑 sleep cycle,谁就持有快照、diff 与回滚路径。这些都不在论文里,但在生产系统里,它们比准确率更早成为约束。


十一、对开发者的实际启示

① 把「离线整理」提成一等公民,写入前先腾空间。 会话结束后的离线整理本身可以是系统组件;先新增隔离的低秩专家 / adapter / memory shard、冻结旧参数、迁移后释放临时区——干扰往往来自共享写入位置,不是学习率。现有 Agent 的记忆文件、向量库、handoff notes 都在模型之外,这套思路补的是「模型内部那一层」。

② 迁移看行为对齐,自生成数据必须过验收闸。 on-policy distillation 对齐模型实际会产生的轨迹,你要保持的是行为而非字节;「每条合成样本单独微调、实测下游有提升才保留」今天就能用在任何合成数据管线里,而且是防错误记忆固化最便宜的一道闸。

③ 记忆持久化必须配版本与回滚。 The Plain Signal 主张固化前让来源、影响、隐私边界与回滚路径先过审——错误信息写进权重就从「一次性幻觉」变成「持久错误」;落到实现就是快照、diff 与回滚路径。这不是论文的结论,而是把参数当持久化存储之后必然出现的工程要求。

④ 读数字先过口径清单,别在产线里照着博客搭。 基座尺寸、average@16、种子方差、对照的是基础模型还是最强基线、是否按基准协议微调、数字来自博客还是论文表格还是二手解析——这套清单可迁移到任何持续学习论文。这次最大的收获不是 79.2,而是发现同一个 46.2 在不同二手报道里被安给了不同的方法;现阶段只适合当设计参照。

⑤ 把「睡眠」当计算过程,别当产品功能。 它是研究范式里的一个阶段名,不是 Gemini 已上线的能力,也不是意识或生物需求。做技术选型时,先问「有没有可部署实现」,再问「术语是不是借来的」。

⑥ 先算调度账,再谈效果。 睡眠窗口要暂停对外服务,逐条验收要额外跑 LoRA 微调与下游评估;论文没给完整成本账目,就意味着这部分得自己按业务流量估。没有睡眠时长、GPU 小时与相对 continued pretraining 的对比,任何「划算」的判断目前都只是推测。


十二、小结

Sleep 的价值不在「让大模型睡觉」这个比喻,而在把离线整理提成了一等公民:清醒期把新信息暂存在上下文与 KV cache 这类快速短期记忆里,睡眠期在低频块开一块预先屏蔽好的低秩空间、用向上蒸馏把知识搬过去,再经自生成 dream samples 与逐条验收补上「会不会用」,最后清空高频临时区回到清醒态;旧参数全程冻结,干扰被结构性隔离,然后这个循环周期性重复。

但另一半也要记住:额外参数只是 5 个 64 维 MLP 块,8B 睡完还是 8B;部分数学基准相对最强基线只有 +0.9 且无种子方差;10M token 连着 BABILong 的特定微调协议;没有开源、没有独立复现、没有完整成本账目;社区第一次玩具复现还走反了方向;连 46.2 在几家二手解析里都对不上。方向值得跟,数字还不到能直接拿去做技术决策的时候。


参考资料

官方

  1. Google Research, The sleep framework: A new way for LLMs to retain knowledge in continual learning, 2026-10-27 — https://research.google/blog/the-sleep-framework-a-new-way-for-llms-to-retain-knowledge-in-continual-learning

论文

  1. Behrouz, Hashemi, Javanmard, Mirrokni, Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories, arXiv:2606.03979 — https://arxiv.org/abs/2606.03979
  2. 论文 PDF — https://arxiv.org/pdf/2606.03979

英文解析(含批判性核查与社区复现)

  1. Flowtivity(SQuAD 46.2% 口径、未附代码、基线自选、无独立复现) — https://flowtivity.ai/blog/google-sleep-framework-continual-learning
  2. Model Current(时间线澄清、BABILong 任务限定) — https://modelcurrent.com/article/google-sleep-framework-ai-memory-explained
  3. Glonce(知识播种的低秩压缩理论) — https://glonce.com/google-research-proposes-a-sleep-phase-for-llms
  4. explainX(无开源实现、作者自报数字) — https://www.explainx.ai/blog/google-research-sleep-framework-continual-learning-llm-memory-consolidation-dreaming-2026
  5. bitshovel(Hope 骨干、Qwen3/Llama 基座、训练成本账目缺失、未复现) — https://bitshovel.site/en/notes/sleep-framework
  6. Sotaaz(100-fact 玩具复现:第一次失败,调参后才有效) — https://sotaaz.com/post/llm-sleep-continual-learning-en
  7. The Plain Signal(记忆治理:来源、影响、隐私边界与回滚审查) — https://theplainsignal.com/article/google-llm-sleep-cycle-memory-audit

中文解析

  1. neodrop.ai《睡一觉,把上下文写进权重:48.9 分、10M token 与 5 个 64 维块》(逐条回论文核对,本文数字口径主要依据,属二手解析) — https://neodrop.ai/post/02PcWAD2thE
  2. paperdog《大模型需要"睡觉":从人类记忆巩固到 LLM 持续学习新范式》(表 2 转录、消融、CMS 分层、ReSTEM) — http://paperdog.org/blog/papers-sleep-paradigm

补充引用(正文已出现,按类别补齐)

  1. 官方博客短链 — https://goo.gle/4iICkyD
  2. Themata.AI(实验读数汇总,SQuAD 48.9 / 46.2 口径) — https://themata.ai/news/sleep-framework-a-new-way-for-llms-to-retain-knowledge-in-continual-learning
  3. mlllm.io(研究发表而非产品发布) — https://mlllm.io/articles/3622-google-research-describes-the-sleep-framework-how-language-models-sleep-to-consolidate-knowledge-in-weights
  4. ResearchPapers.dev(ARC 少样本读数) — https://researchpapers.dev/en/papers/language-models-need-sleep
  5. TechGig, Google’s HOPE(Nested Learning / HOPE 背景,2025-11) — https://content.techgig.com/technology-unplugged/introducing-nested-learning-a-new-ml-paradigm-for-continual-learning/amp_articleshow/125221881.cms

附录一、图表说明

本文关键图采用中文代码重绘图 + Google Research 官方英文原图并存:第三节的图 BI-1 与 8.1 后的图 BI-3 都是「中文 / English 双语标签的代码图」在上、官方英文 PNG 原图在下,读者可当场核对术语与数值,避免翻译造成的口径失真;第五节末的图 BI-2 为双语标签代码图,无对应原图。三张代码图均由 sleep_diagrams.md 的 BI-1 / BI-2 / BI-3 图块原样嵌入,节点标签统一用英文双引号包裹、不含中文标点;若 CSDN 预览不渲染 Mermaid,可改用 sleep_diagrams.md 中的 text 降级图(把代码块语言从 mermaid 改成 text 即可等宽阅读)。两张官方 PNG 保存在 csdn/images/(LLMSleep1_Framework.png、LLMSleep2_Results.png),当前 Markdown 用相对路径引用;发布到 CSDN 时把这两张 PNG 拖进编辑器上传站内图床,再把路径替换为编辑器生成的站内地址,或替换为官方外链 https://storage.googleapis.com/gweb-research2023-media/images/LLMSleep1_Framework.width-1250.png 与 LLMSleep2_Results.width-1250.png,避免本地相对路径在站外失效。图 BI-3 的 PANEL B / C 数值逐条抄录自官方结果图,PANEL A 对照值经二手解析回论文表 2 核对。

附录二、核心术语中英对照表

中文English首次出现 / 说明
灾难性遗忘catastrophic forgetting第一节;官方定义为「学习新任务严重拉低旧任务表现」,见 EN 引句 2
知识截止(日期)knowledge cutoff第一节;部署后模型带着固定截止日期运行,见 EN 引句 1
上下文学习in-context learning (ICL)第一节;知识只在当前上下文窗口内有效,见 EN 引句 3
KV 缓存KV cache第一节;短期记忆的实现载体,会话结束即清空
清醒态 / 活跃态Active (wake) phase第三节;正常接输入、把信息存进快速短期记忆
睡眠态Sleep phase第三节;停止接收外部输入,转向巩固与自我改进
记忆巩固Memory Consolidation第四节 / arXiv 摘要;睡眠第一阶段,类比 NREM 慢波睡眠
知识播种Knowledge Seeding第四节 / arXiv 摘要;向上蒸馏的巩固过程,见 EN 引句 6
向上蒸馏upward distillation第四节;smaller-self → larger network,方向与常规蒸馏相反
广义知识蒸馏Generalized Knowledge Distillation (GKD)第四节;论文摘要给出的组合框架
在策略蒸馏on-policy distillation第四节;学生自生成序列上接受教师 logit 的 token 级反馈
模仿学习Learning to Imitate (LTI)第四节;RL 式模仿,语义相似度 + 编辑距离加权奖励
编辑距离Levenshtein distance第四节;奖励的一半看字面形式
语义奖励semantic reward第四节 / 第七节;冻结奖励模型评分,优先意义而非 token 概率
突触修剪synaptic pruning第四节;巩固完成后重置高频临时参数,释放下一轮容量
低秩专家low-rank expert第四节 / 第六节;两个低维矩阵参数化,旧专家冻结
混合专家Mixture-of-Experts (MoE)第三节 / 第六节;预分配记忆块,睡眠点才解锁
梦境样本dream samples第五节;自生成的合成练习样本
梯度重要性gradient-based importance第五节;dream samples 的排序依据,掺少量随机样本保多样性
ReSTEM 式评估ReSTEM-style evaluation第五节;逐条验收,确有提升才给奖励
连续记忆系统Continuum Memory System (CMS)第六节;不同参数组以不同速率更新
HOPEHOPE第六节 / 第九节;宿主架构,来自 Nested Learning(2025-11)
结构化低秩压缩structured, low-rank compression第七节;Glonce 对知识播种的理论表述,见 EN 引句 7
平均 16 次采样average@16第八节;表 2 采样协议,无种子方差
BABILongBABILong8.3;长上下文基准,10M token 结果依赖任务内微调
作者自报数字vendor-reported第十节;bitshovel 对证据等级的描述,见 EN 引句 13
顺行性遗忘anterograde amnesia第一节;中文技术解析借用的类比,非论文机制

附录三、关键数字中英口径对照表

中文口径说明English provenance note来源层级
数学推理 Sleep:79.2 / 69.0 / 46.1(AIME-24 / 25、HMMT-25)Sleep on Qwen3-8B, average@16, no seed variance; Table 2 cross-checked via a secondary analysis论文表格(经二手解析回核)
基础模型:73.8 / 68.1 / 42.4Base (Instruct) row of Table 2论文表格(经二手解析回核)
SFT 基线:75.5 / 66.4 / 43.7SFT baseline row of Table 2论文表格(paperdog 转录)
最强基线 GRPO:76.4 / 68.1 / 44.9Strongest baseline GRPO, Table 2论文表格(paperdog 转录)
对最强基线增益 +2.8 / +0.9 / +1.2Gain over strongest baseline GRPO论文表格(按表推算)
对基础模型增益 +5.4 / +0.9 / +3.7,无误差棒Gain over base model, no error bars论文表格(按表推算)
on-policy self-distillation 76.6(与 GRPO 76.4 分歧)Flowtivity’s AIME-24 comparison row, not the GRPO row in Table 2二手解析(口径未统一,不并入主表)
去掉语义奖励在 AIME-25 得 69.2,比完整版高 0.2Removing the semantic reward scores 0.2 above the full system二手解析(消融反例)
移除模仿学习约 -1.0 ~ -1.1 分Removing imitation learning costs roughly one point二手解析(paperdog 消融转录)
SQuAD 单篇 48.9,对照 SEAL 46.7,+2.2Single-passage factual incorporation, vs SEAL 46.7论文表 3(经二手解析回核)
46.2 归属分歧 ①:喂入 200 passages 后 Sleep 的成绩Flowtivity: “Sleep reached 46.2% on SQuAD after 200 passages, against 31.9% for the base model and 43.2% for SEAL”二手解析(Flowtivity,见 EN 引句 8)
46.2 归属分歧 ②:continued-pretraining 设置的结果描述Themata: “48.9% single-task and 46.2% continued-pretraining results”; neodrop: 46.2 when continually pre-trained on 200 passages二手解析(Themata / neodrop),与①不合并
200 passages 设置下 base 31.9 / SEAL 43.2Base / SEAL under the 200-passage setup二手解析(Flowtivity)
额外参数 5 个 64 维 MLP 块,激活参数量不变5 MLP blocks of dimension 64; active parameter count unchanged; an 8B model stays 8B论文附录 B(经二手解析回核)
10M tokens 长上下文知识保留Retain long-context knowledge up to 10M tokens on BABILong官方博客结论 + 论文附录 B.2(依赖任务内微调)
GPT-4 在 128K 约 36% vs Sleep 在 10M 约 91%GPT-4 ~36% at 128K vs Sleep ~91% at 10M二手解析(量化值)
类增量 97 / 92 / 89 与 Hope 无睡眠 93 / 84 / 82Class-incremental CLINC / Banking / DBpedia, Sleep vs Hope without sleep官方结果图(一手可核验,图 BI-3 PANEL B)
持续翻译 23.9 / 22.5 / 21.1 / 10.1 与 38.1 / 37.2 / 35.6 / 15.4Continual translation ChRF, Sleep-3/2/1 vs no adaptation, Manchu-EN / Kalamang-EN官方结果图(一手可核验,图 BI-3 PANEL C)
加入第二门语言后 ICL 从 20.9 掉到 10.1ICL collapses after a second language is added官方结果图(一手)
Sotaaz 玩具复现:27–37% vs 38–53%(首次失败);73.2% vs 50.1%(调参后)100-fact toy: first attempt worse, then smaller steps + early stopping, better in all 20 runs二手解析 / 社区玩具复现(见 EN 引句 10)
ARC 少样本约 80% / 72.5% / 10%Few-shot ARC success: Transformer / SEAL / test-time training二手解析(ResearchPapers.dev)
+0.9 且无种子方差AIME-25 gain of +0.9 under average@16 with no seed variance论文表格(口径限制,不足以判定显著差异)

附录四、英文原文引句索引

按正文出现顺序,全部 EN · 原文 引用块均逐字摘自公开信源的英文内容摘要,未改写、未润色、未回译;点击出处可核对原句。

  1. EN 引句 1(第一节)· Google Research Blog, 2026-10-27 — https://research.google/blog/the-sleep-framework-a-new-way-for-llms-to-retain-knowledge-in-continual-learning
  2. EN 引句 2(第一节)· Google Research Blog, 2026-10-27 — https://research.google/blog/the-sleep-framework-a-new-way-for-llms-to-retain-knowledge-in-continual-learning
  3. EN 引句 3(第一节)· Google Research Blog, 2026-10-27 — https://research.google/blog/the-sleep-framework-a-new-way-for-llms-to-retain-knowledge-in-continual-learning
  4. EN 引句 4(第三节)· Glonce, 2026-10-28 — https://glonce.com/google-research-proposes-a-sleep-phase-for-llms
  5. EN 引句 5(第三节)· Google Research Blog, 2026-10-27 — https://research.google/blog/the-sleep-framework-a-new-way-for-llms-to-retain-knowledge-in-continual-learning
  6. EN 引句 6(第四节)· arXiv:2606.03979 Abstract, 2026-06-02 — https://arxiv.org/abs/2606.03979
  7. EN 引句 7(第七节)· Glonce, 2026-10-28 — https://glonce.com/google-research-proposes-a-sleep-phase-for-llms
  8. EN 引句 8(8.3 SQuAD)· Flowtivity, 2026-10-29 — https://flowtivity.ai/blog/google-sleep-framework-continual-learning
  9. EN 引句 9(8.3 BABILong)· Model Current, 2026-10-30 — https://modelcurrent.com/article/google-sleep-framework-ai-memory-explained
  10. EN 引句 10(第十节,社区复现前提)· Sotaaz, 2026-10-28 — https://sotaaz.com/post/llm-sleep-continual-learning-en
  11. EN 引句 11(第十节 1)· mlllm.io — https://mlllm.io/articles/3622-google-research-describes-the-sleep-framework-how-language-models-sleep-to-consolidate-knowledge-in-weights
  12. EN 引句 12(第十节 2)· explainX, 2026-10-27 — https://www.explainx.ai/blog/google-research-sleep-framework-continual-learning-llm-memory-consolidation-dreaming-2026
  13. EN 引句 13(第十节 2)· bitshovel, 2026-11-01 — https://bitshovel.site/en/notes/sleep-framework
  14. EN 引句 14(第十节 3)· Model Current, 2026-10-30 — https://modelcurrent.com/article/google-sleep-framework-ai-memory-explained
  15. EN 引句 15(第十节 8)· bitshovel, 2026-11-01 — https://bitshovel.site/en/notes/sleep-framework
  16. EN 引句 16(第十节 9)· The Plain Signal, 2026-10-28 — https://theplainsignal.com/article/google-llm-sleep-cycle-memory-audit

(正文三张代码图与两张官方英文原图并存,均由 sleep_diagrams.md 的 BI 图块提供;Mermaid 不渲染时改用同文件的 text 降级图。图 BI-3 PANEL B / C 数值抄录自 Google Research 官方结果图。)

Logo

更多推荐