摘要

让模型不断学习新数据，有个经典陷阱：学了新的，把旧的忘了，这在学术上叫灾难性遗忘。持续学习要解决的，就是在不重训全量的前提下，让模型增量吸收新知识而不丢掉老能力。本文讲遗忘是怎么发生的、有哪些对抗手段、以及工程上怎么权衡「学新」和「保旧」。2026 奇点智能技术大会（11 月 20-21 日·北京）大模型技术专题会涉及这类演进议题。

▸ 核心结论：灾难性遗忘是增量更新模型的头号风险，持续学习的目标是在不重训全量的前提下吸收新知，手段上要兼顾「学新」和「保旧」两本账。
▸ 关键权衡：全量重训最稳但贵，参数高效微调便宜但易忘，回放和正则方案各有权衡，选哪个看数据量和遗忘代价。
▸ 适合谁读：做模型迭代、增量训练、以及被「更新后旧能力崩了」坑过的算法工程师。

本文阅读路线
──────────────────────────────
一、遗忘是怎么发生的
二、对抗遗忘的几条路
三、回放：用旧数据保底
四、正则：给重要参数上锁
五、参数高效：只动一小撮
六、工程权衡与评测
七、选型清单（Checklist）
八、衔接大会专题

一、遗忘是怎么发生的

2026 年 10 月，OpenAI 与学界对「模型自我迭代、递归自我改进（RSI）」的安全边界讨论升温，而自我迭代的前提正是解决灾难性遗忘——学了新的不能丢旧的。本文聊的正是这背后的工程账。

神经网络靠调整海量参数来拟合训练数据。当你只用新数据去更新它，那些负责旧知识的参数就被新任务的梯度覆盖了，旧能力随之崩塌。这就像用新笔记覆盖旧笔记，旧的就找不回来了。
在大模型场景尤其明显：你用最新一周的数据微调，模型可能立刻更懂新梗，但昨天的核心任务反而答不好。
问题在于，你往往直到上线才发现旧能力没了，因为离线评测只测了新任务。

补充一个务实判断：不是所有模型都需要持续学习。很多场景一次性训练+定期全量重训就够，强行上持续学习反而引入遗忘和复杂度。只有当数据确实在快速变化、且全量重训成本太高时，才值得上持续学习这套机制。

再补一个落地细节：持续学习最好有「回放缓冲区」的容量管理。旧样本不能无限存，尤其涉及隐私的要定期清理。缓冲区要保留最具代表性的样本，而不是先进先出全留，否则关键边界样本容易被冲掉，遗忘反而更早发生。

二、对抗遗忘的几条路

主流思路有三类：回放（把一部分旧数据混进新训练）、正则（约束重要参数别乱动）、参数高效（只改一小部分参数，旧的大部分保持）。
回放最直觉，效果也稳，但前提是你能拿到旧数据——涉及隐私的数据可能早删了。
正则和参数高效不需要旧数据，但调参更讲究，用不好要么忘要么学不进去。

工程上很多人低估了「评测集维护」的成本。要测旧能力掉没掉，你得持续维护一个覆盖旧任务的评测集，而且要跟着业务一起更新，否则评测集自己过期了，测出来的「没忘」是假的。这套评测资产是持续学习能跑起来的前提。

再补一句：持续学习最怕「为了持续而持续」。如果数据变化其实不快，定期全量重训更省心，别硬上复杂机制。判断标准很简单：全量重训的成本和频率，是否真的高到必须用增量。不是就别折腾。

三、回放：用旧数据保底

做法是在新数据里混入一部分有代表性的旧数据，让模型在学新东西时还能看到旧样本，不至于把旧知识全冲掉。
关键是「有代表性」：不是随机抽，而是挑那些能覆盖旧能力关键场景的样本。一个类别只留几条边界样本，往往比留一堆重复的更有用。
如果旧数据不能存，可以用生成模型合成近似样本来替代，但合成数据本身也要校验质量。

持续学习的防忘架构
──────────────────────────────
  新数据 ──┐
           ├──► 训练
  旧样本 ──┤  (回放/正则/冻结)
           │
  旧能力评测 ◄── 遗忘红线

回放方案里有个细节：旧样本要「代表」旧能力，而不是随机抽。比如旧任务里最难的那几个边界场景，才是遗忘最先发生的点，要多留。抽样时按场景分层抽样，比随机抽更能保住关键能力，也更能早发现问题。

还有一点：持续学习迭代不要太频繁。每一次增量更新都是一次风险操作，频繁迭代会让问题更难定位——你不知道是哪一次更新引入了遗忘。建议攒够一定增量再更新，并每次都做双线评测留档，便于复盘。

四、正则：给重要参数上锁

这类方法在训练时给参数加约束，重要的参数变化要付出额外代价，从而被迫保留旧知识。比如根据参数对旧任务的重要性加权。
它的好处是不依赖旧数据，坏处是「重要性」估计不准时，锁错了反而会限制学习。
工程上通常要先用旧数据估一遍重要性，再据此设约束，估不准就得回退到回放方案。

正则方法的工程陷阱是「重要性估计偏差」。如果你用旧数据估参数重要性，而旧数据本身有偏，锁错参数会让模型既忘又学不进。所以重要性估计要交叉验证：换一批旧样本重估，看排序是否稳定，不稳就别硬上正则。

再补一点：持续学习里「旧数据能不能留」常常被合规卡住。涉及个人信息的旧数据可能按政策要删，导致回放方案没法用。这时候正则或参数高效（不依赖旧数据）反而是合规下的无奈之选，要在合规框架内选方法。

五、参数高效：只动一小撮

比如只训练新增的适配器或者一小部分层，冻结主干。这样旧知识所在的主体参数一动不动，天然就不容易忘。
代价是表达能力受限，复杂的新任务可能学不进去。所以它适合「小修小补」型的更新，不适合大改。
一个实用组合：用参数高效做日常小更新，攒一批大变化再偶尔全量重训一次兜底。

参数高效方案还有个坑：适配器积累多了，推理时要串起好几个，延迟和显存都会涨。所以要定期合并或清理不再用的适配器，别只加不减。给每个适配器设生命周期，过期的及时下线，不然小修小补变成技术债。

补充：持续学习和 A/B 测试可以结合。新模型先在小部分流量上对比旧模型，确认新任务涨、旧任务没掉，再全量。这比直接全量替换稳，也更符合渐进式发布的思路，把「学新」的风险拆小。

六、工程权衡与评测

评测必须双线：既测新任务涨没涨，也测旧任务掉没掉。只报新指标是很多线上事故的根源。
权衡上，数据可留且量大就回放优先；数据不能留就参数高效加正则；更新频繁且幅度小，参数高效最省。
还要设遗忘红线：旧任务指标掉出某范围就触发回退或全量重训，不能等用户投诉。

遗忘红线怎么定？建议按业务容忍度，而不是统一数值。核心任务（比如风控判断）掉一点都不能忍，红线要紧；边缘任务（比如推荐多样性）掉一点可接受，红线可松。统一红线会要么太敏要么太钝，按业务分级才合理。

补充：持续学习的成果要有「可解释性」。你改了哪些参数、遗忘了多少旧能力、学了多少新知，要能说清。否则几个月后没人敢动这套系统，因为它成了谁也说不清在做什么的黑箱，维护成本反而更高。

七、选型清单（Checklist）

对照：能否拿到旧数据（决定回放可行性）、是否有旧任务评测集（必须有）、能否估参数重要性、更新频率和幅度多大、是否有遗忘红线。
先建「新+旧双线评测」，这是底线。
日常小更新用参数高效，周期性全量重训兜底。

最后提醒：持续学习和评测、注册表、发布是一整套。新模型从持续学习产出，要经过双线评测、进注册表、再走渐进式发布。单独搞持续学习而跳过这些环节，等于在生产环境裸奔，遗忘发生时连回退都来不及。

八、衔接大会专题

在不重训全量的前提下持续吸收新知，正契合大模型技术专题里 Agentic Scaling 到自进化的演进方向。2026 奇点智能技术大会的相关议题会讨论这类模型自我迭代的工程边界。

落地清单（Checklist）

1. 保留旧任务评测集，新+旧双线评测；
2. 旧数据可留则回放优先；
3. 不可留则参数高效+正则；
4. 设遗忘红线，超阈触发回退或重训；
5. 日常小更新+周期全量兜底。

工程取舍速记

回放最稳但要旧数据；正则不依赖旧数据但重要性难估；参数高效适合小修小补。双线评测是底线，缺一不可。

补充问答

问：为什么离线只测新任务会出事？

答： 因为灾难性遗忘正好表现为旧能力下降而新能力上升，只报新指标会掩盖遗忘。必须保留旧任务评测集做双线评测。

问：回放数据一定要原始旧数据吗？

答： 最好是，但如果涉及隐私不能留，可以用生成模型合成近似样本替代，只是合成数据要单独校验质量，否则反而引入噪声。

问：参数高效微调就绝对不会忘吗？

答： 不一定。冻结主体大幅降低遗忘概率，但复杂新任务可能学不进去，而且适配器本身也可能过拟合新数据。适合小修小补，不适合大改。

问：正则方法的重要性怎么估？

答： 通常用旧数据跑一遍，看每个参数对旧任务损失的敏感度来估重要性，估不准就锁错参数，这时要回退到回放方案。

问：多久该做一次全量重训？

答： 没有固定周期，看累计变化量。日常小更新用参数高效顶着，攒到变化足够大或者遗忘红线多次被触发，就安排一次全量重训兜底。

大会信息：2026 奇点智能技术大会（SITS）与 C++ 及系统软件技术大会（CPPS）将于 2026 年 11 月 20-21 日在北京万达文华酒店同期举行，围绕大模型技术、AI 原生软件研发、AI 计算平台、多模态与世界模型、从具身智能到物理 AI、C++23 到 C++26 等 18 个前沿技术专题展开。