4.1 从方向导数到梯度

在上一节中，我们学习了方向导数：它描述了函数沿某个特定方向的变化率。但是，你可能会问：在一点处，沿着哪个方向函数变化最快（即方向导数最大）？这个最大的变化率是多少？

这两个问题的答案就引出了梯度的概念。

想象你站在一座山上，想要最快地爬到山顶。你应该沿着最陡的上坡方向走。这个“最陡方向”就是梯度方向，而最陡的坡度就是梯度的模。

4.2 梯度的定义

设二元函数 $z=f(x,y)$ 在点 $P_0(x_0,y_0)$ 处具有一阶连续偏导数，则定义向量
$$\nabla f(x_0,y_0)=\left(\frac{\partial f}{\partial x}{|}_{(x_0,y_0)},\frac{\partial f}{\partial y}{|}_{(x_0,y_0)}\right)$$
为函数 $f$ 在点 $P_0$ 处的梯度，记作 $\nabla f$ 或 $\mathrm{grad}f$。

对于三元函数 $f(x,y,z)$，梯度为
$$\nabla f(x_0,y_0,z_0)=\left(\frac{\partial f}{\partial x},\frac{\partial f}{\partial y},\frac{\partial f}{\partial z}\right)$$

梯度是一个向量，它的分量是函数在各个坐标方向上的偏导数。

4.3 梯度的模

梯度的模（Gradient Magnitude）是多元微积分中的一个重要概念，它衡量了函数在某点处变化率的大小。简单来说，梯度本身是一个向量，指向函数值增长最快的方向，而梯度的模就是该方向上的变化率（即最大变化率）。梯度的模（也称梯度幅度、梯度范数）就是梯度向量的长度，计算公式为：
$$|\nabla f|=\sqrt{(\frac{\partial f}{\partial x_1}{)}^2+(\frac{\partial f}{\partial x_2}{)}^2+\dots +(\frac{\partial f}{\partial x_n}{)}^2}$$

它是一个非负实数，表示函数在该点沿梯度方向的变化率。

4.4 梯度与方向导数的关系

方向导数 $D_{\mathbf{u}}f$ 表示函数沿单位方向 $\mathbf{u}$ 的变化率。如果函数可微，则方向导数等于梯度与方向向量的点积：
$$D_{\mathbf{u}}f=\nabla f\cdot \mathbf{u}=|\nabla f|\cos \theta ,$$
其中 $\theta$ 是梯度向量 $\nabla f$ 与方向 $\mathbf{u}$ 的夹角。

从这个公式可以得到两个重要结论：

• 梯度方向是函数增长最快的方向：当 $\theta =0$，即 $\mathbf{u}$ 与梯度方向一致时，方向导数取得最大值 $|\nabla f|$。也就是说，沿梯度方向，函数增加得最快。
• 梯度的模就是最大方向导数：$|\nabla f|$ 给出了沿梯度方向的变化率。
• 与梯度垂直的方向，方向导数为零：当 $\theta =90^{\circ }$ 时，$\cos \theta =0$，方向导数为 0，表示函数在该方向没有变化（即沿着等值线的方向）。

4.5 梯度的几何意义

二元函数的梯度

对于二元函数 $z=f(x,y)$，它的图像是一个曲面。等高线（等值线）是曲面上高度相同的点的投影。梯度向量 $\nabla f$ 在每一点都垂直于该点的等高线，并且指向函数值增加的方向。

• 垂直等高线：因为沿等高线移动，函数值不变，所以方向导数为 0，即与梯度垂直。
• 指向函数增加方向：梯度方向是函数值增加最快的方向，所以它垂直于等高线并指向高度增加的一侧。

三元函数的梯度

对于三元函数 $w=f(x,y,z)$，梯度垂直于等值面，并指向函数值增加最快的方向。例如，在温度场中，梯度方向就是温度升高最快的方向。

4.6 如何计算梯度？

计算梯度就是求各个偏导数，然后写成向量形式。

例1：$f(x,y)=x^2+3xy+y^3$，求在点 $(1,2)$ 处的梯度。

解：

• $f_x=2x+3y$，在 $(1,2)$ 处为 $2\cdot 1+3\cdot 2=8$。
• $f_y=3x+3y^2$，在 $(1,2)$ 处为 $3\cdot 1+3\cdot 4=3+12=15$。
• 所以梯度 $\nabla f(1,2)=(8,15)$。

沿此方向的方向导数最大，最大值为 $|\nabla f|=\sqrt{8^2+15^2}=\sqrt{64+225}=\sqrt{289}=17$。

例2：$f(x,y,z)=e^{xy}+\ln (y+z)$，求在点 $(0,1,0)$ 处的梯度。

解：

• $f_x=y{e}^{xy}$，在 $(0,1,0)$ 处为 $1\cdot e^0=1$。
• $f_y=x{e}^{xy}+\frac{1}{y+z}$，在 $(0,1,0)$ 处为 $0\cdot e^0+\frac{1}{1+0}=1$。
• $f_z=\frac{1}{y+z}$，在 $(0,1,0)$ 处为 $\frac{1}{1+0}=1$。
• 梯度 $\nabla f(0,1,0)=(1,1,1)$。

最大方向导数为 $|\nabla f|=\sqrt{1^2+1^2+1^2}=\sqrt{3}$。

4.7 梯度与等值线（等值面）

考虑二元函数 $f(x,y)$ 的等值线 $f(x,y)=C$（常数）。在等值线上任一点，梯度 $\nabla f$ 垂直于该等值线。证明：设 $\mathbf{r}(t)=(x(t),y(t))$ 是等值线上一条曲线，则 $f(x(t),y(t))=C$，对 $t$ 求导得 $f_x{x}^{\prime }(t)+f_y{y}^{\prime }(t)=0$，即 $\nabla f\cdot {\mathbf{r}}^{\prime }(t)=0$，说明梯度与切线垂直。

对于三元函数，梯度垂直于等值面。

4.8 梯度的物理意义

在物理中，许多场（如温度场、电势场、重力势场）都可以用标量函数描述。梯度表示该场中物理量的空间变化率。

• 温度梯度：温度变化最快的方向，指向温度增加的方向。热流方向通常与温度梯度相反（从高温到低温）。
• 电势梯度：电势增加最快的方向，电场强度 $ \mathbf{E} = -\nabla V$，即电场指向电势下降最快的方向。
• 重力势梯度：重力 = - 梯度(势能)。

4.9 梯度的应用

(1) 最优化问题

在机器学习、工程优化中，常常需要找到函数的最小值。梯度下降法就是利用梯度的性质：沿负梯度方向函数下降最快。迭代公式：
$${\mathbf{x}}_{n+1}={\mathbf{x}}_n-\eta \nabla f({\mathbf{x}}_n),$$
其中 $\eta$ 是学习率（步长）。

(2) 寻找最大方向导数

根据梯度可以确定函数增长最快的方向，用于导航、路径规划等。

(3) 几何应用

求曲面的切平面：曲面 $F(x,y,z)=0$ 在点 $P$ 处的切平面法向量就是 $\nabla F(P)$。对于曲面 $z=f(x,y)$，可以写成 $F(x,y,z)=f(x,y)-z=0$，则法向量为 $(f_x,f_y,-1)$。

4.10 常见疑问与注意事项

• 梯度是一个向量，不是标量：它与方向导数不同，方向导数是数值，而梯度是向量。
• 梯度存在条件：函数在该点必须可微（或至少偏导数存在且连续），否则梯度可能不存在。
• 零梯度：如果梯度为零向量，则该点为临界点（可能是极值点或鞍点）。
• 梯度与等高线的关系：等高线密集的地方，梯度模较大（变化快）；稀疏的地方，梯度模较小。

---

上一章 机器学习数学基础–(3)方向导数

下一章 机器学习数学基础–(5)小结