机器学习数学基础--(2)偏导数
2.1 为什么需要偏导数?
在现实问题中,很多量依赖于多个变量。比如:
- 房间的温度 T T T 可能取决于位置 ( x , y , z ) (x, y, z) (x,y,z) 和时间 t t t,即 T = T ( x , y , z , t ) T = T(x, y, z, t) T=T(x,y,z,t)。
- 一个圆柱体的体积 V V V 取决于底面半径 r r r 和高 h h h: V = π r 2 h V = \pi r^2 h V=πr2h。
当我们想研究其中一个变量变化时对函数的影响(而保持其他变量不变),就需要偏导数的概念。
2.2 偏导数的直观理解
想象一个二元函数 z = f ( x , y ) z = f(x, y) z=f(x,y),它的图像是一个曲面(在三维空间中)。如果我们固定 y y y 不变(比如 y = y 0 y = y_0 y=y0),那么函数就变成了关于 x x x 的一元函数: z = f ( x , y 0 ) z = f(x, y_0) z=f(x,y0)。这个一元函数的图像是曲面与平面 y = y 0 y = y_0 y=y0 的交线,是一条曲线。这条曲线在点 ( x 0 , y 0 ) (x_0, y_0) (x0,y0) 处的切线斜率,就是函数 f f f 在 ( x 0 , y 0 ) (x_0, y_0) (x0,y0) 处关于 x x x 的偏导数。
类似地,固定 x x x 不变,可以得到关于 y y y 的偏导数,它表示沿 y y y 方向的变化率。
2.3 偏导数的定义
设函数 z = f ( x , y ) z = f(x, y) z=f(x,y) 在点 ( x 0 , y 0 ) (x_0, y_0) (x0,y0) 的某邻域内有定义。
-
如果固定 y = y 0 y = y_0 y=y0,让 x x x 有增量 Δ x \Delta x Δx,则相应的函数增量为 Δ z = f ( x 0 + Δ x , y 0 ) − f ( x 0 , y 0 ) \Delta z = f(x_0 + \Delta x, y_0) - f(x_0, y_0) Δz=f(x0+Δx,y0)−f(x0,y0)。
如果极限
lim Δ x → 0 f ( x 0 + Δ x , y 0 ) − f ( x 0 , y 0 ) Δ x \lim_{\Delta x \to 0} \frac{f(x_0 + \Delta x, y_0) - f(x_0, y_0)}{\Delta x} Δx→0limΔxf(x0+Δx,y0)−f(x0,y0)
存在,则称此极限为函数 f f f 在点 ( x 0 , y 0 ) (x_0, y_0) (x0,y0) 处对 x x x 的偏导数,记作
f x ( x 0 , y 0 ) , ∂ f ∂ x ∣ ( x 0 , y 0 ) , ∂ z ∂ x ∣ ( x 0 , y 0 ) . f_x(x_0, y_0), \quad \frac{\partial f}{\partial x}\bigg|_{(x_0, y_0)}, \quad \frac{\partial z}{\partial x}\bigg|_{(x_0, y_0)}. fx(x0,y0),∂x∂f (x0,y0),∂x∂z (x0,y0). -
类似地,定义对 y y y 的偏导数:
f y ( x 0 , y 0 ) = lim Δ y → 0 f ( x 0 , y 0 + Δ y ) − f ( x 0 , y 0 ) Δ y . f_y(x_0, y_0) = \lim_{\Delta y \to 0} \frac{f(x_0, y_0 + \Delta y) - f(x_0, y_0)}{\Delta y}. fy(x0,y0)=Δy→0limΔyf(x0,y0+Δy)−f(x0,y0).
对于更多变量的函数,偏导数的定义可以类推:对某一个变量求偏导时,将其他所有变量视为常数,然后按一元函数求导法则计算。
2.4 如何计算偏导数?
计算偏导数非常简单:把其他变量看作常数,对目标变量用一元函数求导法则。
例1: f ( x , y ) = x 2 + 3 x y + y 3 f(x, y) = x^2 + 3xy + y^3 f(x,y)=x2+3xy+y3
-
对 x x x 求偏导:将 y y y 视为常数,对 x x x 求导
∂ f ∂ x = 2 x + 3 y ⋅ 1 + 0 = 2 x + 3 y . \frac{\partial f}{\partial x} = 2x + 3y \cdot 1 + 0 = 2x + 3y. ∂x∂f=2x+3y⋅1+0=2x+3y. -
对 y y y 求偏导:将 x x x 视为常数,对 y y y 求导
∂ f ∂ y = 0 + 3 x ⋅ 1 + 3 y 2 = 3 x + 3 y 2 . \frac{\partial f}{\partial y} = 0 + 3x \cdot 1 + 3y^2 = 3x + 3y^2. ∂y∂f=0+3x⋅1+3y2=3x+3y2.
例2: f ( x , y ) = e x y sin ( x + y ) f(x, y) = e^{xy} \sin(x+y) f(x,y)=exysin(x+y)
-
对 x x x 求偏导:
看作乘积 u = e x y u = e^{xy} u=exy, v = sin ( x + y ) v = \sin(x+y) v=sin(x+y),其中 u u u 对 x x x 求导时 y y y 是常数: ∂ u ∂ x = y e x y \frac{\partial u}{\partial x} = y e^{xy} ∂x∂u=yexy。
v v v 对 x x x 求导: ∂ v ∂ x = cos ( x + y ) ⋅ 1 \frac{\partial v}{\partial x} = \cos(x+y) \cdot 1 ∂x∂v=cos(x+y)⋅1。
所以
∂ f ∂ x = ( y e x y ) sin ( x + y ) + e x y cos ( x + y ) . \frac{\partial f}{\partial x} = (y e^{xy}) \sin(x+y) + e^{xy} \cos(x+y). ∂x∂f=(yexy)sin(x+y)+exycos(x+y). -
对 y y y 求偏导:
∂ u ∂ y = x e x y \frac{\partial u}{\partial y} = x e^{xy} ∂y∂u=xexy, ∂ v ∂ y = cos ( x + y ) ⋅ 1 \frac{\partial v}{\partial y} = \cos(x+y) \cdot 1 ∂y∂v=cos(x+y)⋅1,
所以
∂ f ∂ y = ( x e x y ) sin ( x + y ) + e x y cos ( x + y ) . \frac{\partial f}{\partial y} = (x e^{xy}) \sin(x+y) + e^{xy} \cos(x+y). ∂y∂f=(xexy)sin(x+y)+exycos(x+y).
例3: f ( x , y , z ) = x 2 y z + ln ( x z ) f(x, y, z) = x^2 y z + \ln(xz) f(x,y,z)=x2yz+ln(xz)
-
对 x x x 求偏导: y , z y, z y,z 视为常数
∂ f ∂ x = 2 x y z + 1 x z ⋅ z = 2 x y z + 1 x . \frac{\partial f}{\partial x} = 2x y z + \frac{1}{xz} \cdot z = 2x y z + \frac{1}{x}. ∂x∂f=2xyz+xz1⋅z=2xyz+x1. -
对 y y y 求偏导: x , z x, z x,z 视为常数
∂ f ∂ y = x 2 z + 0 = x 2 z . \frac{\partial f}{\partial y} = x^2 z + 0 = x^2 z. ∂y∂f=x2z+0=x2z. -
对 z z z 求偏导: x , y x, y x,y 视为常数
∂ f ∂ z = x 2 y + 1 x z ⋅ x = x 2 y + 1 z . \frac{\partial f}{\partial z} = x^2 y + \frac{1}{xz} \cdot x = x^2 y + \frac{1}{z}. ∂z∂f=x2y+xz1⋅x=x2y+z1.
2.5 偏导数的几何意义
以二元函数 z = f ( x , y ) z = f(x, y) z=f(x,y) 为例:
- f x ( x 0 , y 0 ) f_x(x_0, y_0) fx(x0,y0) 表示曲面被平面 y = y 0 y = y_0 y=y0 所截得的曲线在点 ( x 0 , y 0 , f ( x 0 , y 0 ) ) (x_0, y_0, f(x_0, y_0)) (x0,y0,f(x0,y0)) 处的切线对 x x x 轴的斜率。
- f y ( x 0 , y 0 ) f_y(x_0, y_0) fy(x0,y0) 表示曲面被平面 x = x 0 x = x_0 x=x0 所截得的曲线在点 ( x 0 , y 0 , f ( x 0 , y 0 ) ) (x_0, y_0, f(x_0, y_0)) (x0,y0,f(x0,y0)) 处的切线对 y y y 轴的斜率。
2.6 偏导数与全微分
如果函数 f ( x , y ) f(x, y) f(x,y) 在点 ( x 0 , y 0 ) (x_0, y_0) (x0,y0) 处可微(即存在切平面),则全微分定义为:
d f = f x ( x 0 , y 0 ) d x + f y ( x 0 , y 0 ) d y . df = f_x(x_0, y_0) \, dx + f_y(x_0, y_0) \, dy. df=fx(x0,y0)dx+fy(x0,y0)dy.
它近似表示当 x x x 和 y y y 分别有微小变化 d x , d y dx, dy dx,dy 时,函数值的改变量。
偏导数存在是可微的必要条件,但不是充分条件(还需要偏导数连续等)。
2.7 高阶偏导数
对一个函数求偏导后,得到的新函数仍然是多变量函数,可以继续求偏导,得到高阶偏导数。
例如,对 f ( x , y ) f(x, y) f(x,y):
-
二阶纯偏导:
f x x = ∂ ∂ x ( ∂ f ∂ x ) , f y y = ∂ ∂ y ( ∂ f ∂ y ) . f_{xx} = \frac{\partial}{\partial x}\left(\frac{\partial f}{\partial x}\right), \quad f_{yy} = \frac{\partial}{\partial y}\left(\frac{\partial f}{\partial y}\right). fxx=∂x∂(∂x∂f),fyy=∂y∂(∂y∂f). -
二阶混合偏导:
f x y = ∂ ∂ y ( ∂ f ∂ x ) , f y x = ∂ ∂ x ( ∂ f ∂ y ) . f_{xy} = \frac{\partial}{\partial y}\left(\frac{\partial f}{\partial x}\right), \quad f_{yx} = \frac{\partial}{\partial x}\left(\frac{\partial f}{\partial y}\right). fxy=∂y∂(∂x∂f),fyx=∂x∂(∂y∂f).
克莱罗定理(混合偏导数相等条件):如果 f x y f_{xy} fxy 和 f y x f_{yx} fyx 在点 ( x 0 , y 0 ) (x_0, y_0) (x0,y0) 连续,则它们相等: f x y ( x 0 , y 0 ) = f y x ( x 0 , y 0 ) f_{xy}(x_0, y_0) = f_{yx}(x_0, y_0) fxy(x0,y0)=fyx(x0,y0)。
例子: f ( x , y ) = x 3 y 2 + e x sin y f(x, y) = x^3 y^2 + e^x \sin y f(x,y)=x3y2+exsiny
- 一阶偏导:
f x = 3 x 2 y 2 + e x sin y f_x = 3x^2 y^2 + e^x \sin y fx=3x2y2+exsiny
f y = 2 x 3 y + e x cos y f_y = 2x^3 y + e^x \cos y fy=2x3y+excosy - 二阶偏导:
f x x = 6 x y 2 + e x sin y f_{xx} = 6x y^2 + e^x \sin y fxx=6xy2+exsiny
f y y = 2 x 3 − e x sin y f_{yy} = 2x^3 - e^x \sin y fyy=2x3−exsiny
f x y = ∂ ∂ y ( f x ) = 6 x 2 y + e x cos y f_{xy} = \frac{\partial}{\partial y}(f_x) = 6x^2 y + e^x \cos y fxy=∂y∂(fx)=6x2y+excosy
f y x = ∂ ∂ x ( f y ) = 6 x 2 y + e x cos y f_{yx} = \frac{\partial}{\partial x}(f_y) = 6x^2 y + e^x \cos y fyx=∂x∂(fy)=6x2y+excosy,两者相等。
2.8 偏导数的应用
- 多元函数的极值问题:通过解方程组 f x = 0 , f y = 0 f_x = 0, f_y = 0 fx=0,fy=0 找到驻点,再结合二阶偏导数判断极值类型。
- 方向导数与梯度:梯度向量 ∇ f = ( f x , f y ) \nabla f = (f_x, f_y) ∇f=(fx,fy) 方向是函数增长最快的方向。
- 物理中的场论:如温度场的温度梯度、电场的电势梯度等。
- 经济学中的边际分析:比如生产函数 Q ( K , L ) Q(K, L) Q(K,L) 对资本 K K K 的偏导表示资本的边际产出。
2.9 常见疑问与注意事项
-
偏导数的记号:使用 ∂ \partial ∂ 而不是 d d d,以强调是对多元函数中某一变量求导。
-
偏导数存在与函数连续:偏导数存在不能推出函数连续(但可微可以推出连续)。例如函数
f ( x , y ) = { x y x 2 + y 2 , ( x , y ) ≠ ( 0 , 0 ) 0 , ( x , y ) = ( 0 , 0 ) f(x, y) = \begin{cases} \frac{xy}{x^2+y^2}, & (x, y) \neq (0, 0) \\ 0, & (x, y) = (0, 0) \end{cases} f(x,y)={x2+y2xy,0,(x,y)=(0,0)(x,y)=(0,0)
在 ( 0 , 0 ) (0,0) (0,0) 处两个偏导都存在(均为0),但函数不连续。 -
求偏导时其他变量视为常数,这一点要特别注意,不要混淆。
上一章 机器学习数学基础–(1)导数
下一章 机器学习数学基础–(3)方向导数
更多推荐
所有评论(0)