一、前言

仅供参考，未经实验验证。这篇我们对SFT、DPO、PPO目标函数求导进行推导，由于RFT和在线RFT的目标函数求导与SFT同理（GC都是常数），故跳过了这两个。

二、DeepSeekMath

A. 附录

A.1.1. Supervised Fine-tuning

The objective of Supervised Fine-tuning is maximizing the following objective:

$${\mathcal{J}}_{SFT}(\theta )=\mathbb{E}[q,o\sim P_{sft}(Q,O)]\left(\frac{1}{|o|}\sum _{t=1}^{|o|}\log {\pi }_{\theta }(o_t|q,o_{<t})\right).(6)$$

The gradient of ${\mathcal{J}}_{SFT}(\theta )$ is:

$${\nabla }_{\theta }{\mathcal{J}}_{SFT}=\mathbb{E}[q,o\sim P_{sft}(Q,O)]\left(\frac{1}{|o|}\sum _{t=1}^{|o|}{\nabla }_{\theta }\log {\pi }_{\theta }(o_t|q,o_{<t})\right).(7)$$

Data Source: The dataset employed for SFT. Reward Function: This can be regarded as human selection. Gradient Coefficient: always set to 1.

问题：SFT目标函数求导

这是所有方法中最基础的，但它是理解后续所有复杂公式的起点。我来一步一步推。

---

第0步：目标函数 (6) 在说什么？

$${\mathcal{J}}_{SFT}(\theta )={\mathbb{E}}_{q,o\sim P_{sft}(Q,O)}\left(\frac{1}{|o|}\sum _{t=1}^{|o|}\log {\pi }_{\theta }(o_t|q,o_{<t})\right)$$

拆解每个符号

符号	含义
${\mathbb{E}}_{q,o\sim P_{sft}}$	从人工标注的 SFT 数据集中采样问题 $q$ 和答案 $o$
$|o|$	答案 $o$ 的 token 数量（序列长度）
$o_t$	答案的第 $t$ 个 token
$o_{<t}$	答案中第 $t$ 个 token 之前的所有 token（上下文）
${\pi }_{\theta }(o_t|q,o_{<t})$	当前模型在给定问题和前文下，生成第 $t$ 个 token 的概率
$\log {\pi }_{\theta }(\dots )$	对概率取 log（把乘法变加法，方便求导）

直观理解

这是一个平均对数似然（Average Log-Likelihood）：

$$\frac{1}{|o|}\sum _{t=1}^{|o|}\log {\pi }_{\theta }(o_t|q,o_{<t})$$

• 对于一条标准答案 $o$，模型生成这个答案的联合概率是：
  $$P(o|q)={\pi }_{\theta }(o_1|q)\times {\pi }_{\theta }(o_2|q,o_1)\times {\pi }_{\theta }(o_3|q,o_1,o_2)\times \dots$$

• 取 log 后，乘法变加法：
  $$\log P(o|q)=\sum _{t=1}^{|o|}\log {\pi }_{\theta }(o_t|q,o_{<t})$$

• 除以 $|o|$ 做平均：避免长序列的 log 概率天然更小（不公平比较）

所以目标函数就是：让模型生成标准答案的平均概率尽可能大。

---

第1步：对 $\theta$ 求梯度

$${\nabla }_{\theta }{\mathcal{J}}_{SFT}={\nabla }_{\theta }{\mathbb{E}}_{q,o\sim P_{sft}}\left[\frac{1}{|o|}\sum _{t=1}^{|o|}\log {\pi }_{\theta }(o_t|q,o_{<t})\right]$$

1.1 期望和梯度交换顺序

在数学上，期望（积分）和梯度在满足一定条件时可以交换顺序：

$${\nabla }_{\theta }\mathbb{E}[\dots ]=\mathbb{E}[{\nabla }_{\theta }\dots ]$$

所以梯度可以"钻"进期望里面：

$$={\mathbb{E}}_{q,o\sim P_{sft}}\left[{\nabla }_{\theta }\left(\frac{1}{|o|}\sum _{t=1}^{|o|}\log {\pi }_{\theta }(o_t|q,o_{<t})\right)\right]$$

1.2 常数提出来、求和与梯度交换

$\frac{1}{|o|}$ 是答案长度，与模型参数 $\theta$ 无关，是常数，可以提出括号

梯度是线性算子，可以穿过求和符号：

$$={\mathbb{E}}_{q,o\sim P_{sft}}\left[\frac{1}{|o|}\sum _{t=1}^{|o|}{\nabla }_{\theta }\log {\pi }_{\theta }(o_t|q,o_{<t})\right]$$

这就是论文公式 (7)。

---

第2步：为什么梯度系数是 1？

对照统一框架：

$${\nabla }_{\theta }\mathcal{J}=\mathbb{E}\left[\frac{1}{|o|}\sum _t\underset{\text{梯度系数}}{\underbrace{GC}}\cdot {\nabla }_{\theta }\log {\pi }_{\theta }(o_t|\dots )\right]$$

在 SFT 的梯度公式 (7) 中：

$${\nabla }_{\theta }{\mathcal{J}}_{SFT}=\mathbb{E}\left[\frac{1}{|o|}\sum _t\underset{GC}{\underbrace{1}}\cdot {\nabla }_{\theta }\log {\pi }_{\theta }(o_t|q,o_{<t})\right]$$

每个 token 前面都乘了一个隐式的 1。

为什么？因为：

• 标准答案里的每一个 token 都被认为是"正确的"
• 没有筛选，没有打分，没有对错判断
• 所以每个 token 的"学习权重"完全相等，都是 1

---

第3步：${\nabla }_{\theta }\log {\pi }_{\theta }$ 到底是什么？

这是深度学习中最常见的对数梯度（Log-Gradient）。展开看看：

$${\nabla }_{\theta }\log {\pi }_{\theta }(o_t|q,o_{<t})=\frac{1}{{\pi }_{\theta }(o_t|q,o_{<t})}\cdot {\nabla }_{\theta }{\pi }_{\theta }(o_t|q,o_{<t})$$

直观意义

• ${\nabla }_{\theta }{\pi }_{\theta }$：直接对概率求导，如果概率很小，导数可能也很小，导致梯度消失
• 除以 ${\pi }_{\theta }$ 后：即使概率很小，只要方向正确，梯度仍然有力
• 这相当于一种自适应放大：对低概率的正确 token 给更大的相对更新力度

在 SFT 中的作用

对于标准答案中的每个 token $o_t$：

$${\nabla }_{\theta }\log {\pi }_{\theta }(o_t|q,o_{<t})$$

这个向量指向"让模型更可能生成 $o_t$"的方向。优化器沿着这个方向更新 $\theta$，使得下次见到同样的问题和前文时，模型输出 $o_t$ 的概率会上升。

---

第4步：整个 SFT 训练在做什么？

用一句话说：

对于每一条人工写的标准答案，把答案里每个 token 的生成概率都往上推，推的力度完全相等（权重都是1）。

为什么 SFT 效果有限？

因为：

1. 没有筛选：标准答案里的所有 token 都平等学习，包括一些"废话"token
2. 没有对比：模型不知道"什么是不好的答案"，只见过好的
3. 没有探索：数据是固定的，不会随着模型变强而变难

这就是为什么后面需要 RFT、DPO、GRPO 等方法——它们都在解决 SFT 的这三个缺陷。

---

一句话总结推导链

目标函数 = 标准答案的平均 log 概率
求导 → 期望和梯度交换，常数 $\frac{1}{|o|}$ 提出来，求和与梯度交换
结果 → 每个 token 的梯度是 ${\nabla }_{\theta }\log {\pi }_{\theta }$，前面乘的系数是 1（因为没有筛选、没有奖励、没有惩罚，所有 token 平等学习）

A.1.4. Direct Preference Optimization (DPO)

The objective of DPO is:

$${\mathcal{J}}_{DPO}(\theta )=\mathbb{E}[q\sim P_{sft}(Q),o^{+},o^{-}\sim {\pi }_{sft}(O|q)]\log \sigma \left(\beta \frac{1}{|o^{+}|}\sum _{t=1}^{|o^{+}|}\log \frac{{\pi }_{\theta }(o_t^{+}|q,o_{\le t}^{+})}{{\pi }_{ref}(o_t^{+}|q,o_{\le t}^{+})}-\beta \frac{1}{|o^{-}|}\sum _{t=1}^{|o^{-}|}\log \frac{{\pi }_{\theta }(o_t^{-}|q,o_{\le t}^{-})}{{\pi }_{ref}(o_t^{-}|q,o_{\le t}^{-})}\right)(12)$$

The gradient of ${\mathcal{J}}_{DPO}(\theta )$ is:

$$\begin{array}{rl}{\nabla }_{\theta }{\mathcal{J}}_{DPO}(\theta )=\mathbb{E}[q\sim P_{sft}(Q),o^{+},o^{-}\sim {\pi }_{sft}(O|q)]& (\frac{1}{|o^{+}|}\sum _{t=1}^{|o^{+}|}G{C}_{DPO}(q,o,t){\nabla }_{\theta }\log {\pi }_{\theta }(o_t^{+}|q,o_{\le t}^{+})\\ & -\frac{1}{|o^{-}|}\sum _{t=1}^{|o^{-}|}G{C}_{DPO}(q,o,t){\nabla }_{\theta }\log {\pi }_{\theta }(o_t^{-}|q,o_{\le t}^{-}))\end{array}(13)$$

Data Source: question in SFT dataset with outputs sampled from SFT model. Reward Function: human preference in the general domain (can be ‘Rule’ in mathematical tasks). Gradient Coefficient:

$$G{C}_{DPO}(q,o,t)=\sigma \left(\beta \log \frac{{\pi }_{\theta }(o_t^{-}|q,o_{\le t}^{-})}{{\pi }_{ref}(o_t^{-}|q,o_{\le t}^{-})}-\beta \log \frac{{\pi }_{\theta }(o_t^{+}|q,o_{\le t}^{+})}{{\pi }_{ref}(o_t^{+}|q,o_{\le t}^{+})}\right)(14)$$

问题：DPO目标函数求导

第0步：先写出DPO的目标函数

DPO 的核心是比较"好答案"和"差答案"。

令：

• ${\text{score}}^{+}=\frac{1}{|o^{+}|}{\sum }_t\log \frac{{\pi }_{\theta }(o_t^{+})}{{\pi }_{ref}(o_t^{+})}$ ← 好答案的"相对得分"
• ${\text{score}}^{-}=\frac{1}{|o^{-}|}{\sum }_t\log \frac{{\pi }_{\theta }(o_t^{-})}{{\pi }_{ref}(o_t^{-})}$ ← 差答案的"相对得分"

目标函数：
$${\mathcal{J}}_{DPO}=\log \sigma \left(\beta \cdot {\text{score}}^{+}-\beta \cdot {\text{score}}^{-}\right)$$

为了简化，我把括号里的东西记作一个中间变量：
$$u=\beta \cdot {\text{score}}^{+}-\beta \cdot {\text{score}}^{-}$$

所以目标函数就是：
$$\mathcal{J}=\log \sigma (u)$$

---

第1步：对 $\theta$ 求导（链式法则）

$${\nabla }_{\theta }\mathcal{J}=\underset{\text{外层：对 }u\text{ 求导}}{\underbrace{\frac{d}{du}\log \sigma (u)}}\cdot \underset{\text{内层：对 }\theta \text{ 求导}}{\underbrace{{\nabla }_{\theta }u}}$$

外层导数：$\frac{d}{du}\log \sigma (u)$

这就是之前说的 sigmoid 性质：
$$\frac{d}{du}\log \sigma (u)=\frac{1}{\sigma (u)}\cdot {\sigma }^{\prime }(u)=\frac{1}{\sigma (u)}\cdot \sigma (u)(1-\sigma (u))=1-\sigma (u)=\sigma (-u)$$

所以外层导数 = $\sigma (-u)$

$\log \sigma (x)$ 的导数为什么是 $1-\sigma (x)$？

先记住 Sigmoid 的定义

$$\sigma (x)=\frac{1}{1+e^{-x}}$$

计算 $\log \sigma (x)$ 的导数

$$\log \sigma (x)=\log \left(\frac{1}{1+e^{-x}}\right)=-\log (1+e^{-x})$$

对 $x$ 求导（链式法则）：

$$\frac{d}{dx}[-\log (1+e^{-x})]=-\frac{1}{1+e^{-x}}\cdot \underset{\text{内层导数}}{\underbrace{(-e^{-x})}}=\frac{e^{-x}}{1+e^{-x}}$$

现在看 $1-\sigma (x)$ 等于什么

$$1-\sigma (x)=1-\frac{1}{1+e^{-x}}=\frac{(1+e^{-x})-1}{1+e^{-x}}=\frac{e^{-x}}{1+e^{-x}}$$

对比两个结果

$$\frac{d}{dx}\log \sigma (x)=\frac{e^{-x}}{1+e^{-x}}=1-\sigma (x)$$

而 $\sigma (-x)=\frac{1}{1+e^x}$，分子分母同乘 $e^{-x}$ 后也是 $\frac{e^{-x}}{1+e^{-x}}$，所以：

$$\frac{d}{dx}\log \sigma (x)=1-\sigma (x)=\sigma (-x)$$

一句话：Sigmoid 有个漂亮性质——$\sigma (x)+\sigma (-x)=1$，所以 $1-\sigma (x)=\sigma (-x)$。

---

第2步：内层导数 ${\nabla }_{\theta }u$

$$u=\beta \cdot {\text{score}}^{+}-\beta \cdot {\text{score}}^{-}$$

$${\nabla }_{\theta }u=\beta \cdot {\nabla }_{\theta }{\text{score}}^{+}-\beta \cdot {\nabla }_{\theta }{\text{score}}^{-}$$

现在分别算 ${\nabla }_{\theta }{\text{score}}^{+}$ 和 ${\nabla }_{\theta }{\text{score}}^{-}$。

---

第3步：好答案的得分怎么求导？

$${\text{score}}^{+}=\frac{1}{|o^{+}|}\sum _{t=1}^{|o^{+}|}\log \frac{{\pi }_{\theta }(o_t^{+})}{{\pi }_{ref}(o_t^{+})}=\frac{1}{|o^{+}|}\sum _t\left[\log {\pi }_{\theta }(o_t^{+})-\log {\pi }_{ref}(o_t^{+})\right]$$

对 $\theta$ 求导：
$${\nabla }_{\theta }{\text{score}}^{+}=\frac{1}{|o^{+}|}\sum _t\left[{\nabla }_{\theta }\log {\pi }_{\theta }(o_t^{+})-\underset{=0}{\underbrace{{\nabla }_{\theta }\log {\pi }_{ref}(o_t^{+})}}\right]$$

为什么 ${\nabla }_{\theta }\log {\pi }_{ref}=0$？

因为 ${\pi }_{ref}$ 是参考模型（SFT 模型），它的参数固定死了，在训练过程中永远不会变。所以它对当前参数 $\theta$ 的导数就是 0。

因此：
$${\nabla }_{\theta }{\text{score}}^{+}=\frac{1}{|o^{+}|}\sum _t{\nabla }_{\theta }\log {\pi }_{\theta }(o_t^{+})$$

同理：
$${\nabla }_{\theta }{\text{score}}^{-}=\frac{1}{|o^{-}|}\sum _t{\nabla }_{\theta }\log {\pi }_{\theta }(o_t^{-})$$

---

第4步：把内外层合起来

$${\nabla }_{\theta }\mathcal{J}=\sigma (-u)\cdot \left[\beta \cdot \frac{1}{|o^{+}|}\sum _t{\nabla }_{\theta }\log {\pi }_{\theta }(o_t^{+})-\beta \cdot \frac{1}{|o^{-}|}\sum _t{\nabla }_{\theta }\log {\pi }_{\theta }(o_t^{-})\right]$$

把 $\sigma (-u)$ 乘进去，拆成两项：

$$=\frac{1}{|o^{+}|}\sum _t\underset{GC}{\underbrace{\beta \cdot \sigma (-u)}}\cdot {\nabla }_{\theta }\log {\pi }_{\theta }(o_t^{+})-\frac{1}{|o^{-}|}\sum _t\underset{GC}{\underbrace{\beta \cdot \sigma (-u)}}\cdot {\nabla }_{\theta }\log {\pi }_{\theta }(o_t^{-})$$

---

第5步：梯度系数 $GC$ 终于出现了！

$$GC=\beta \cdot \sigma (-u)$$

而 $-u=\beta \cdot {\text{score}}^{-}-\beta \cdot {\text{score}}^{+}$，所以：

$$GC=\beta \cdot \sigma \left(\beta \cdot {\text{score}}^{-}-\beta \cdot {\text{score}}^{+}\right)$$

展开就是：

$$GC=\beta \cdot \sigma \left(\beta \cdot \frac{1}{|o^{-}|}\sum _t\log \frac{{\pi }_{\theta }(o_t^{-})}{{\pi }_{ref}(o_t^{-})}-\beta \cdot \frac{1}{|o^{+}|}\sum _t\log \frac{{\pi }_{\theta }(o_t^{+})}{{\pi }_{ref}(o_t^{+})}\right)$$

论文公式 (14) 基本就是这个形式（只是它把求和平均写成了单个 token 的形式，核心是一样的）。

---

第6步：这个 $GC$ 到底在干什么？

$GC=\beta \cdot \sigma (\beta \cdot \text{差答案得分}-\beta \cdot \text{好答案得分})$

三种情况：

情况	差答案得分 − 好答案得分	$GC$ 的值	意味着什么
模型还没学会	差答案得分 ≈ 好答案得分（比如 0）	$\sigma (0)=0.5$，$GC\approx 0.5\beta$	中等力度调整
模型搞反了	差答案得分 > 好答案得分（正数）	$\sigma (\text{正数})\to 1$，$GC\to \beta$	大力纠正！
模型学得很好	差答案得分 << 好答案得分（负数）	$\sigma (\text{负数})\to 0$，$GC\to 0$	几乎不动了

---

一句话总结推导链

目标函数 $\log \sigma (u)$ → 链式法则 → 外层 $\sigma (-u)$ × 内层 $\beta [\nabla \text{好}-\nabla \text{差}]$ → 内层里 ${\pi }_{ref}$ 导数为0 → 只剩下 ${\nabla }_{\theta }\log {\pi }_{\theta }$ → 把 $\sigma (-u)$ 提出来当公共系数 → 这就是 $GC$。

它本质上是一个**“自适应刹车片”**：模型越学得好，$GC$ 越接近 0，更新越轻；模型越搞错，$GC$ 越接近 1，更新越重。

A.1.5. Proximal Policy Optimization (PPO)

The objective of PPO is:

$${\mathcal{J}}_{PPO}(\theta )=\mathbb{E}[q\sim P_{sft}(Q),o\sim {\pi }_{{\theta }_{old}}(O|q)]\frac{1}{|o|}\sum _{t=1}^{|o|}\min \left[\frac{{\pi }_{\theta }(o_t|q,o_{\le t})}{{\pi }_{{\theta }_{old}}(o_t|q,o_{\le t})}{A}_t,\text{clip}\left(\frac{{\pi }_{\theta }(o_t|q,o_{\le t})}{{\pi }_{{\theta }_{old}}(o_t|q,o_{\le t})},1-ϵ,1+ϵ\right)A_t\right].(15)$$

To simplify the analysis, it is assumed that the model only has a single update following each exploration stage, thereby ensuring that ${\pi }_{{\theta }_{old}}={\pi }_{\theta }$ . In this case, we can remove the min and clip operation:

$${\mathcal{J}}_{PPO}(\theta )=\mathbb{E}[q\sim P_{sft}(Q),o\sim {\pi }_{{\theta }_{old}}(O|q)]\frac{1}{|o|}\sum _{t=1}^{|o|}\frac{{\pi }_{\theta }(o_t|q,o_{\le t})}{{\pi }_{{\theta }_{old}}(o_t|q,o_{\le t})}{A}_t.(16)$$

The gradient of ${\mathcal{J}}_{PPO}(\theta )$ is:

$${\nabla }_{\theta }{\mathcal{J}}_{PPO}(\theta )=\mathbb{E}[q\sim P_{sft}(Q),o\sim {\pi }_{{\theta }_{old}}(O|q)]\frac{1}{|o|}\sum _{t=1}^{|o|}{A}_t{\nabla }_{\theta }\log {\pi }_{\theta }(o_t|q,o_{\le t})(17)$$

Data Source: question in SFT dataset with outputs sampled from policy model. Reward Function: reward model. Gradient Coefficient:

$$G{C}_{PPO}(q,o,t,{\pi }_{{\theta }_m})=A_t,(18)$$

where $A_t$ is the advantage, which is computed by applying Generalized Advantage Estimation (GAE) (Schulman et al., 2015), based on the rewards { r ≥ t } \{r_{\geq t}\} {r≥t​} and a learned value function $V_{\psi }$ .

问题1：PPO目标函数求导

好的，这个推导有几个关键细节需要注意，尤其是"为什么 ${\pi }_{{\theta }_{old}}={\pi }_{\theta }$ 还能求导"。

---

第0步：PPO 原始目标函数 (15)

$${\mathcal{J}}_{PPO}=\mathbb{E}\frac{1}{|o|}\sum _t\min \left[\underset{\text{无约束项}}{\underbrace{r_t(\theta )A_t}},\underset{\text{有约束项}}{\underbrace{\text{clip}(r_t(\theta ),1-ϵ,1+ϵ)A_t}}\right]$$

其中 $r_t(\theta )=\frac{{\pi }_{\theta }(o_t|q,o_{\le t})}{{\pi }_{{\theta }_{old}}(o_t|q,o_{\le t})}$ 叫重要性采样比率。

为什么要有 min 和 clip？

PPO 的核心思想是：别让策略更新步子太大。

• 如果 $A_t>0$（这个动作好）：想提升 $r_t(\theta )$，但 clip 把它限制在 $1+ϵ$ 以内
• 如果 $A_t<0$（这个动作差）：想降低 $r_t(\theta )$，但 clip 把它限制在 $1-ϵ$ 以内

min 的作用：取"无约束项"和"有约束项"中更保守的那个，防止策略突变。

---

第1步：简化假设 ${\pi }_{{\theta }_{old}}={\pi }_{\theta }$

论文说：假设每次采样后只更新一次模型参数。

这意味着：

• 采样时用的策略是 ${\pi }_{{\theta }_{old}}$
• 更新后的策略是 ${\pi }_{\theta }$
• 因为只更新了一步，$\theta$ 和 ${\theta }_{old}$ 非常接近

在这个假设下：
$$r_t(\theta )=\frac{{\pi }_{\theta }}{{\pi }_{{\theta }_{old}}}\approx 1$$

既然 $r_t(\theta )\approx 1$，那么：

• $\text{clip}(1,1-ϵ,1+ϵ)=1$（clip 不起作用）
• 无约束项 $=1\cdot A_t=A_t$
• 有约束项 $=1\cdot A_t=A_t$
• $\min [A_t,A_t]=A_t$

所以 min 和 clip 都可以安全去掉，得到简化版 (16)：

$${\mathcal{J}}_{PPO}=\mathbb{E}\frac{1}{|o|}\sum _{t=1}^{|o|}\frac{{\pi }_{\theta }(o_t|q,o_{\le t})}{{\pi }_{{\theta }_{old}}(o_t|q,o_{\le t})}{A}_t$$

---

第2步：对 $\theta$ 求导

现在对简化后的目标函数求导：

$${\nabla }_{\theta }{\mathcal{J}}_{PPO}=\mathbb{E}\frac{1}{|o|}\sum _t{\nabla }_{\theta }\left(\frac{{\pi }_{\theta }(o_t)}{{\pi }_{{\theta }_{old}}(o_t)}{A}_t\right)$$

2.1 哪些是与 $\theta$ 无关的常数？

符号	是否依赖 $\theta$	原因
$\frac{1}{|o|}$	❌ 否	序列长度
${\pi }_{{\theta }_{old}}(o_t)$	❌ 否	采样时的旧策略，参数已固定
$A_t$	❌ 否	优势函数，基于旧策略的采样轨迹和奖励计算
${\pi }_{\theta }(o_t)$	✅ 是	当前策略，参数 $\theta$ 正在优化

所以 $\frac{1}{{\pi }_{{\theta }_{old}}}$ 和 $A_t$ 都是常数，可以提出来：

$$=\mathbb{E}\frac{1}{|o|}\sum _t\frac{A_t}{{\pi }_{{\theta }_{old}}(o_t)}\cdot {\nabla }_{\theta }{\pi }_{\theta }(o_t)$$

2.2 对数梯度技巧

$${\nabla }_{\theta }{\pi }_{\theta }(o_t)={\pi }_{\theta }(o_t)\cdot {\nabla }_{\theta }\log {\pi }_{\theta }(o_t)$$

代入：

$$=\mathbb{E}\frac{1}{|o|}\sum _t\frac{A_t}{{\pi }_{{\theta }_{old}}(o_t)}\cdot {\pi }_{\theta }(o_t)\cdot {\nabla }_{\theta }\log {\pi }_{\theta }(o_t)$$

$$=\mathbb{E}\frac{1}{|o|}\sum _t{A}_t\cdot \underset{r_t(\theta )}{\underbrace{\frac{{\pi }_{\theta }(o_t)}{{\pi }_{{\theta }_{old}}(o_t)}}}\cdot {\nabla }_{\theta }\log {\pi }_{\theta }(o_t)$$

2.3 再次代入简化假设

论文假设 ${\pi }_{{\theta }_{old}}={\pi }_{\theta }$（在当前参数点处求值），所以：

$$\frac{{\pi }_{\theta }(o_t)}{{\pi }_{{\theta }_{old}}(o_t)}=1$$

因此：

$${\nabla }_{\theta }{\mathcal{J}}_{PPO}=\mathbb{E}\frac{1}{|o|}\sum _t{A}_t\cdot {\nabla }_{\theta }\log {\pi }_{\theta }(o_t)$$

这就是公式 (17)。

---

第3步：为什么梯度系数是 $A_t$？

对照统一框架：

$${\nabla }_{\theta }\mathcal{J}=\mathbb{E}\left[\frac{1}{|o|}\sum _t\underset{\text{梯度系数}}{\underbrace{GC}}\cdot {\nabla }_{\theta }\log {\pi }_{\theta }(o_t)\right]$$

PPO 的梯度：

$${\nabla }_{\theta }{\mathcal{J}}_{PPO}=\mathbb{E}\left[\frac{1}{|o|}\sum _t\underset{GC}{\underbrace{A_t}}\cdot {\nabla }_{\theta }\log {\pi }_{\theta }(o_t)\right]$$

$A_t$ 是什么？

$A_t$ 是优势函数（Advantage），表示：“在时刻 $t$ 选择这个动作 $o_t$，比这个状态下的平均动作好多少”。

计算方式（GAE）：
$$A_t=\underset{\text{GAE 公式}}{\underbrace{\sum _{k=0}^{\infty }(\gamma \lambda {)}^k{\delta }_{t+k}}}$$

其中 ${\delta }_t=r_t+\gamma V(s_{t+1})-V(s_t)$ 是时序差分误差。

直觉：

• $A_t>0$：这个动作比预期好 → 提升它的概率
• $A_t<0$：这个动作比预期差 → 降低它的概率
• $|A_t|$ 越大：调整力度越大

---

关键问题：为什么 ${\pi }_{{\theta }_{old}}={\pi }_{\theta }$ 还能求导？

你可能会问：如果两者相等，那 $r_t(\theta )=1$ 是常数，对 $\theta$ 求导不是应该为 0 吗？

答案是：${\pi }_{{\theta }_{old}}={\pi }_{\theta }$ 只在当前参数点成立（$\theta ={\theta }_{old}$），但 ${\pi }_{\theta }$ 仍然是 $\theta$ 的函数。我们求的是在 $\theta ={\theta }_{old}$ 处的导数，而不是说 ${\pi }_{\theta }$ 恒等于 ${\pi }_{{\theta }_{old}}$。

类比：

• 函数 $f(x)=x^2$ 在 $x=1$ 处，$f(1)=1$
• 但 $f(x)$ 仍然是 $x$ 的函数，在 $x=1$ 处的导数是 $f^{\prime }(1)=2$

同理：

• $\frac{{\pi }_{\theta }}{{\pi }_{{\theta }_{old}}}$ 在 $\theta ={\theta }_{old}$ 处等于 1
• 但它对 $\theta$ 的导数是 $\frac{{\nabla }_{\theta }{\pi }_{\theta }}{{\pi }_{{\theta }_{old}}}$，在 $\theta ={\theta }_{old}$ 处等于 ${\nabla }_{\theta }\log {\pi }_{\theta }$

---

一句话总结

简化假设：只更新一次 → ${\pi }_{\theta }\approx {\pi }_{{\theta }_{old}}$ → min 和 clip 都不起作用 → 去掉它们。
求导：${\pi }_{{\theta }_{old}}$ 和 $A_t$ 都是常数，提出来；${\nabla }_{\theta }{\pi }_{\theta }$ 用对数梯度技巧变成 ${\pi }_{\theta }{\nabla }_{\theta }\log {\pi }_{\theta }$；再代入 ${\pi }_{\theta }={\pi }_{{\theta }_{old}}$ 消掉比值；最终得到 $GC=A_t$。
$A_t$ 的直觉：奖励模型打分 + 价值网络预估 = 每个动作比"平均水平"好多少，好的多推、差的多压。