大模型后训练（post-training）虽能让模型贴合人类偏好、交流更自然，却会引发 “遗忘” 问题（即 alignment tax，对齐越彻底记忆越脆弱），导致推理与知识任务表现下滑，监督微调（SFT）和强化学习（RL）是后训练的两大常见路线，前者依赖高质量标注数据、稳定可靠，后者通过奖励优化生成策略、更具适应性；理论上 SFT 更稳健、RL 更易遗忘，但实际结果相反，RL 长周期训练后更能保留原有能力。

普林斯顿陈丹琦团队通过对照实验和理论模型探究其系统差异根源，发现并非算法形式问题，而是数据分布与模型行为的错位，该研究既对比了两种后训练范式，也揭示了记忆保留机制，后续将从理论与实证层面解释 RL“学得久、记得牢” 的原因。

点击阅读原文，获取陈丹琦团队+RL+SFT论文合集

1. 【导读】

​​​​

论文标题：RETAINING BY DOING: THE ROLE OF ON-POLICY DATA IN MITIGATING FORGETTING

作者：Howard Chen、Noam Razin、Karthik Narasimhan、Danqi Chen

作者机构：Princeton Language and Intelligence, Princeton University（普林斯顿大学普林斯顿语言与智能实验室）

论文链接：https://arxiv.org/abs/2510.18874v1

项目链接：https://github.com/princeton-pli/retaining-by-doing

2. 【论文速读】

语言模型（LMs）通过后训练适配新任务时，存在原有能力退化的灾难性遗忘风险。本文为找出缓解该现象的准则，系统对比了两种广泛采用的后训练方法——监督微调（SFT） 与强化学习（RL） 的遗忘模式。实验表明，在不同LM家族（Llama、Qwen）和任务（指令遵循、通用知识、算术推理）中，RL在实现相当或更高目标任务性能的同时，遗忘程度显著低于SFT。为探究差异成因，研究将LM建模为包含先验知识与目标任务的混合分布，发现RL源于在线数据（on-policy data） 使用的寻模特性，使其在学习目标任务时能保持先验知识完好。进一步验证表明，实际场景中RL对遗忘的鲁棒性核心在于在线数据的使用，而非KL正则化或优势估计等算法选择；最后指出，使用近似在线数据可有效缓解遗忘，且其获取效率远高于完全在线数据。

3. 【语言模型后训练中的遗忘难题与研究脉络】

3.1 研究背景

1. 核心问题：语言模型后训练适配新任务时，易发生“灾难性遗忘”，导致原有能力退化，SFT与RL两种主流方法均存在该问题。
2. 研究缺口：现有研究对SFT与RL的遗忘差异缺乏系统对比，尚未明确遗忘缓解准则。
3. 实际诉求：需在提升目标任务性能的同时，保留模型原有能力（如安全、通用知识）。

3.2 相关工作

1. 灾难性遗忘：早期聚焦参数约束，语言模型中表现为“对齐税”，部分可通过重训练或提示恢复。
2. 后训练方法：SFT依赖标注数据易过拟合，RL通过奖励反馈优化，泛化性更强。
3. 同期研究：已有工作发现RL遗忘更少，但对核心成因解释不一，本文补充在线数据的关键作用及近似在线数据的价值。## 4.【双雄合璧：Translution的底层方法论拆解】

点击阅读原文，获取陈丹琦团队+RL+SFT论文合集

4.【遗忘度量与双方法实验对决】

4.1 核心定义与度量指标

1. 模型与策略表示：语言模型（LM）用策略${\pi }_{\theta }(y|x)$表示，其中$y$是基于提示$x$生成的响应；目标任务$T$的最优策略记为${\pi }^{\ast }(\cdot |x)$。
2. 损失函数定义：
   • 监督微调（SFT）：最小化交叉熵损失，$L_{SFT}(\theta ;x)={\sum }_y-{\pi }^{\ast }(y|x)\log {\pi }_{\theta }(y|x)$，基于最优策略采样的真实响应$y^{\ast }$计算。
   • 强化学习（RL）：最大化KL正则化奖励，$J_{RL}(\theta ;x)={\mathbb{E}}_{y\sim {\pi }_{\theta }(\cdot |x)}[r(x,y)]-\beta \cdot KL[{\dot{\pi }}_{\theta }(\cdot |x)\Vert {\pi }_{{\theta }_0}(\cdot |x)]$，其中 r ( x , y ) ∈ { 0 , 1 } r(x, y) \in \{0,1\} r(x,y)∈{0,1}为奖励函数，$\beta >0$为正则化系数，${\pi }_{{\theta }_0}$为初始策略。
3. 性能度量指标：
   • 目标任务增益${\Delta }_g=A({\pi }_{{\theta }_T},T)-A({\pi }_{{\theta }_0},T)$，$A({\pi }_{{\theta }_T},T)$表示训练$T$步后模型在目标任务$T$上的准确率。
   • 非目标任务遗忘度${\Delta }_d=\frac{1}{M}{\sum }_{j=1}^M[A({\pi }_{{\theta }_0},T_j^{\prime })-A({\pi }_{{\theta }_T},T_j^{\prime })]$，基于$M$个非目标任务集合 { T j ′ } j = 1 M \{T_{j}'\}_{j=1}^{M} {Tj′​}j=1M​计算，值越小表示遗忘越少。

4.2 实验设置

1. 任务与评估范围：
   • 目标任务：指令遵循（IFEval）、通用知识（MMLU）、算术推理（Countdown），均划分训练集与评估集。
   • 非目标任务：包含数学推理（MATH）及安全相关任务（WildJailbreak、WildGuardTest），用于度量遗忘程度。
   • RL奖励规则：生成结果正确得1分，错误得0分。
2. 模型与基线选择：
   • 初始模型：Llama 3（1B、8B）、Qwen 2.5（1.5B、7B）系列指令模型。
   • 对比方法：① SFT（使用Llama-3.3-70B-Instruct生成的真实响应）；② Self-SFT（使用初始模型生成的正确响应）；③ RL（采用GRPO算法，适用于可验证输出任务）。
3. 训练细节：所有模型训练2个epoch，SFT及Self-SFT仅保留正确响应数据，训练过程采用统一过滤标准。

4.3 实验核心结果

1. 遗忘程度对比：跨模型、跨任务场景下，SFT及其变体（Self-SFT）的非目标任务遗忘度显著高于RL，RL能在保持目标任务性能相当或更优的同时，最大限度减少遗忘。
   

2. SFT的性能-遗忘权衡：

   • Self-SFT要达到与RL相当的目标任务增益，需承受更大的非目标任务性能下降。
   • 标准SFT在指令遵循任务上增益更高，但遗忘度比Self-SFT更严重。
   • 高学习率能提升SFT的目标任务性能，但会加剧遗忘；低学习率可缓解遗忘，却无法达到同等目标性能（即使增加训练epoch）。
     

5. KL视角解密：SFT与RL的遗忘动态差异

5.1 SFT与RL的KL散度本质映射

1. SFT：前向KL最小化（模式覆盖）
   已知SFT等价于最小化最优策略与训练策略间的前向KL散度，推导逻辑为：SFT的交叉熵损失$L_{SFT}(\theta ;x)={\sum }_y-{\pi }^{\ast }(y|x)\log {\pi }_{\theta }(y|x)$，其本质与前向KL散度$KL[{\pi }^{\ast }\Vert {\pi }_{\theta }]$仅相差最优策略的熵$H({\pi }^{\ast }(\cdot |x))$（与${\pi }_{\theta }$无关），因此SFT具有“模式覆盖”特性，倾向于在所有模式上保留概率质量。
2. RL：反向KL最小化（模式寻找）
   KL正则化RL目标的最优策略为${\pi }^{\ast }(y|x)=\frac{1}{Z(x)}{\pi }_{{\theta }_0}(y|x)\exp (r(x,y)/\beta )$，其中$Z(x)={\sum }_y{\pi }_{{\theta }_0}(y|x)\exp (r(x,y)/\beta )$为配分函数，$\beta >0$为KL正则化系数。最大化RL目标等价于最小化反向KL散度$KL[{\pi }_{\theta }\Vert {\pi }^{\ast }]$（与$\log Z(x)$无关），使RL呈现“模式寻找”特性，倾向于快速将概率质量转移到目标模式。

5.2 单模态场景：前向KL（SFT）遗忘更少

1. 实验设定
   • 最优策略建模为两种单变量高斯分布的混合：“旧模式”（代表先验知识）与“新模式”（代表目标任务），混合权重为${\alpha }^{\ast }\in (0,1)$。
   • 训练策略${\pi }_{\theta }$设为单模态高斯分布（参数$\theta =(\mu ,\sigma )$），初始时覆盖最优策略的旧模式。
   • 用“重叠面积”衡量性能：旧模式重叠面积$S_{old}(\theta )$、新模式重叠面积$S_{new}(\theta )$（取值均在$[0,1]$），目标增益${\Delta }_g=S_{new}({\theta }_T)-S_{new}({\theta }_0)$，遗忘度${\Delta }_d=S_{old}({\theta }_0)-S_{old}({\theta }_T)$。
   • 数据采样规则：前向KL（SFT）从新模式采样数据，反向KL（RL）从当前训练策略采样数据。
2. 核心结果
   当目标增益达到0.9时，前向KL（SFT）的遗忘度为0.64，反向KL（RL）的遗忘度为0.70。这符合传统认知：模式覆盖的前向KL在拓展至新模式时，能保留更多旧模式概率质量，遗忘更少。
   

5.3 多模态场景：反向KL（RL）遗忘更少

1. 实验设定
   • 最优策略与单模态场景一致（混合高斯分布），但训练策略${\pi }_{\theta }$改为双模态高斯分布，参数$\theta =(\alpha ,{\theta }_{old},{\theta }_{new})$：$\alpha$为混合权重，${\theta }_{old}=({\mu }_{old},{\sigma }_{old})$对应旧模式高斯分布$q_{old}$，${\theta }_{new}=({\mu }_{new},{\sigma }_{new})$对应新模式高斯分布$q_{new}$。
   • 前向KL（SFT）测试两种学习率（0.15、0.01），反向KL（RL）固定学习率0.01，其余度量规则与单模态场景一致。
2. 核心结果
   • 前向KL（SFT）：高学习率（0.15）下目标增益达0.9时，遗忘度为0.12；低学习率（0.01）可降低遗忘度（0.03），但无法实现目标增益。
   • 反向KL（RL）：能在目标增益达0.9的同时，仅产生0.02的遗忘度——通过移动新模式$q_{new}$向目标模式靠拢，而非从旧模式转移概率质量，最终实现“高效学习+低遗忘”。
     

6. 在线数据：解锁RL低遗忘的核心密钥

6.1 研究核心假设与验证思路

1. 核心假设：RL对遗忘的鲁棒性源于其“在线数据（on-policy data）”的使用，而非KL正则化、优势估计等其他算法特性。
2. 验证逻辑：通过消融实验排除非核心因素的影响，明确在线数据的关键作用；进一步探索“近似在线数据”的有效性，降低实际应用成本。
3. 关键定义：在线数据指由当前训练策略生成的数据，与SFT使用的“离线数据（off-policy data，如固定专家数据、初始模型数据）”形成鲜明对比。

6.2 消融实验：锁定在线数据的核心作用

1. KL正则化的影响验证：

   • 实验设计：对比带KL正则化（$\beta =0.05$）与无KL正则化（$\beta =0.0$）的GRPO算法，评估目标任务增益与非目标任务遗忘度。
   • 结果：除Llama模型在IFEval任务上的细微差异外，两种设置的增益-遗忘权衡基本一致，证明KL正则化并非RL低遗忘的核心原因。
     

2. 优势估计的影响验证：

   • 实验设计：对比采用优势估计的GRPO与无优势估计的经典RL算法REINFORCE，聚焦遗忘度差异。
   • 结果：如表1所示，REINFORCE的目标任务增益低于GRPO，但两者遗忘度处于同一低水平，说明优势估计仅影响性能增益幅度，与遗忘缓解无关。
     

6.3 近似在线数据的有效性探索

1. 实验设计：

   • 测试三种SFT变体：① 标准SFT（全离线专家数据）；② Self-SFT（仅初始模型数据）；③ Iterative-SFT（每轮/每个epoch初生成的近似在线数据）。
   • 评估指标：目标任务准确率、非目标任务遗忘度（相对GRPO的差值）。

2. 核心结果：

   • Iterative-SFT：目标准确率高于或媲美标准SFT，且遗忘度接近GRPO，仅呈现轻微或无遗忘。
   • 补充验证：基于RL训练轨迹的在线数据进行SFT训练，同样实现遗忘度显著降低，仅略高于纯RL。
     

3. 关键结论：无需获取完全在线数据，仅使用“每轮生成的近似在线数据”即可有效缓解SFT的遗忘问题，且获取效率远高于完全在线数据。

7.【核心洞见与未来探索：在线数据破解遗忘困局】

该论文通过系统实验对比SFT与RL在语言模型后训练中的遗忘模式，发现跨模型家族（Llama、Qwen）和任务（指令遵循、通用知识、算术推理）场景下，RL能在保证目标任务性能相当或更优的同时，显著降低遗忘程度，其核心原因在于在线数据（on-policy data） 的使用，而非KL正则化或优势估计等算法特性；进一步验证表明，使用每轮生成的近似在线数据可高效缓解SFT的遗忘问题，且获取成本远低于完全在线数据。未来研究可聚焦三方向：一是探索模型与数据集规模进一步扩大时的遗忘模式变化，二是从理论层面明确在线数据缓解遗忘的机制，三是将在线数据相关 insights 应用于持续学习、测试时训练等新兴范式，为构建更稳定的语言模型学习体系提供支撑。

点击阅读原文，获取陈丹琦团队+RL+SFT论文合集