当你迷茫的时候，请回头看看 目录大纲，也许有你意想不到的收获

前言

前面我们讲了推导了一元线性回归问题 与 多元线性回归问题 的求解，也就是当 残差平方和(RSS) 最小时，求解 参数 W 。

1. 一元线性函数：

$$y=wx+b$$

一元线性回归问题解法，最小二乘法：

$$\left[\begin{array}{c}w\\ b\end{array}\right]={\left[\begin{array}{cc}\sum _{i=1}^m{x_i}^2& \sum _{i=1}^m{x}_i\\ \sum _{i=1}^m{x}_i& m\end{array}\right]}^{-1}\left[\begin{array}{c}\sum _{i=1}^m{x}_i{y}_i\\ \sum _{i=1}^m{y}_i\end{array}\right]$$

2. 多元线性函数：

$$y=w_1{x}_1+w_2{x}_2+...+b$$

多元线性回归的解法，正规方程：

$$W=(X^{T}X{)}^{-1}{X}^{T}Y$$

其中，一元线性函数可以视为特殊的多元函数，也适合用多元线性回归的解法，并且上篇也已得证。

然而生活中的大多函数都是非线性，线性求解存在局限，因此需要一种通用求解的方法，那就是梯度下降法。

梯度示例

来一个简单的函数

$$z=1＋x+2y$$

怎么理解呢？还是拿前面的主角小猪来举例吧，小猪开始重 1 斤，吃 1 碗饭长 1 斤肉，用 x 表示饭量，纯吃饭成长速度为 $w_1=1$，吃 1 碗饲料长 2 斤肉，用 y 表示饲料量，纯吃饲料成长的速度为 $w_2=2$，那么 z 表示小猪的重量。即：
$$\begin{gathered} w_1=\frac{\partial z}{\partial x}=1 \\ {w}_2=\frac{\partial z}{\partial y}=2 \end{gathered}$$
可以这么说，z 的梯度是一个向量，我喜欢用 列向量 表示（$\nabla$ 符号在 latex 读作 nabla）：
$$\nabla z=\left[\begin{array}{c}\frac{\partial z}{\partial x}\\ \frac{\partial z}{\partial y}\end{array}\right]=\left[\begin{array}{c}{w}_1\\ w_2\end{array}\right]$$

如果给它喂一碗东西（饭与饲料混合物），怎样才能让它长的最快呢？

给我们的感觉是 全喂饲料 长的快啊！

是的，相信自己感觉，没毛病。

但在微分领域中不太一样，还要考虑 方向，它改变了加法的性质（平行四边形法则），从而使增长比 等量 纯喂快，其实是在耍流氓，根本不是等量，早超过一碗的量了，下面我们就来手撕它！

微分推导

在宏观中一碗太大了，增加一点都容易察觉出不一样，现在我们把这个碗缩小缩小，一直压缩到看不见，那这碗食量就是趋向于0。一个小碗的食量假如是 $\Delta r$：

1. 如果这个小碗全装饭，那么小猪吃后会长 $\Delta r$ 斤肉；
2. 如果这个小碗全装饲料，那么小猪吃后会长 $2\cdot \Delta r$ 斤肉；

到这里应该都没什么问题，也符合正常的成长速度。

好了，现在带上 方向 吧，现在有两个方向，一个是纯吃饭的方向(x轴方向)，一个是纯吃饲料的方向(y轴方向)，体重就是 z 轴方向，在直角坐标系中，$z=1+x+2y$ 就是一个平面。

为了清晰统一,本文中带上箭头的表示矢量(数值+方向),例如 $\Delta \vec{r},\Delta \vec{x},\Delta \vec{y}$,没有的表示标量(仅数值),例如 $\Delta z,\Delta x,\Delta y$。

现在初始小猪重1斤，位于O$(x_0,y_0,z_0)=(0,0,1)$，现在把 $\Delta \vec{r}$ 分为两部分(都是有方向的向量)，一部分装饭 $\Delta \vec{x}$ ，一部分装饲料 $\Delta \vec{y}$，$\vec{x}\perp \vec{y}$，那么就到了 P$(x_0+\Delta x,y_0+\Delta y,z_0+\Delta z)$

下面重点来了：
$$\begin{gathered} \Delta \vec{r}=\Delta \vec{x}+\Delta \vec{y} \\ |\Delta r|=\sqrt{|\Delta x{|}^2+|\Delta y{|}^2} \\ |\Delta r|\le |\Delta x|+|\Delta y| \end{gathered}$$

它满足向量相加（平行四边形相加），并不是普通的标量相加，模长满足勾股定理。

这里就是微观与宏观的不同，这也将导致我们在微观的结论与宏观不一样。

在宏观世界中，吃 纯一碗饲料 与吃 一碗混合物 相比，纯一碗饲料长的肉是最多的。

而在微观下，吃一碗 饭与饲料混合物 反而长的比 纯一碗饲料 要快，本质上就是因为微观上的向量分解，而且每个方向都相互垂直。有了 方向 就改变了加法的性质，其实是耍流氓，明明喂了 超过一碗的食量，$|\Delta x|+|\Delta y|\ge |\Delta r|$，愣是说满足 平行四边形相加，只喂了一碗 $|\Delta r|$ 的量！

它就是 欺负你微观中看不出来，所以小猪长的比纯喂一碗的快，就不足为奇了，下面我们就来推导一下吧！

令小猪增长体重为 $\Delta z$，一小碗食量为$\Delta r$，其中饭量为$\Delta x$，饲料量为 $\Delta y$，这里$\Delta z,\Delta r,\Delta x,\Delta y$ 都是标量
那么有如下关系：

$$\begin{gathered} 全微分:dz=\frac{\partial z}{\partial x}dx+\frac{\partial z}{\partial y}dy=dx+2dy \\ 增量形式:\Delta z=z(x_0+\Delta x,y_0+\Delta y)-z(x_0,y_0) \\ =1\cdot \Delta x+2\cdot \Delta y \end{gathered}$$

因为 $\Delta x,\Delta y与\Delta r$ 有勾股关系，所以令

$$\begin{gathered} \Delta x=\Delta r\cdot \cos \theta \\ \Delta y=\Delta r\cdot \sin \theta \end{gathered}$$

则有

$$\Delta z=1\cdot \Delta r\cos \theta +2\cdot \Delta r\sin \theta$$

令
$$\begin{gathered} \sin \alpha =\frac{1}{\sqrt{1+2^2}}=\frac{1}{\sqrt{5}} \\ \cos \alpha =\frac{2}{\sqrt{1+2^2}}=\frac{2}{\sqrt{5}} \\ \tan \alpha =\frac{1}{2} \end{gathered}$$

上式可以化为

$$\begin{gathered} \Delta z=\sqrt{5}\Delta r\cdot (\sin \alpha \cos \theta +\cos \alpha \sin \theta ) \\ =\sqrt{5}\Delta r\cdot \sin (\alpha +\theta ) \end{gathered}$$

惊不惊喜？意不意外？死去的高中记忆瞬间活了过来！

$\Delta z$ 有最大值，即:
$$\begin{gathered} \alpha +\theta =\frac{\pi }{2} \\ \Delta z_{max}=\sqrt{5}\Delta r \end{gathered}$$

梯度

这说明什么？$\alpha$ 是已知角度（$\tan \alpha =\frac{w_1}{w_2}=\frac{1}{2}$），那么，$\Delta \vec{r}$ 方向与向量$\vec{l}(1,2)$ 同向时，$\Delta z$ 取到最大，且最大值为 $\sqrt{5}\Delta r$，列举几个值观察一下：

$\theta$	$0$	$\frac{\pi }{6}$	$\frac{\pi }{3}$	$\frac{\pi }{2}$
$\Delta x=\Delta r\cos \theta$	$\Delta r$	$\frac{\sqrt{3}}{2}\Delta r$	$\frac{1}{2}\Delta r$	$0$
$\Delta y=\Delta r\sin \theta$	$0$	$\frac{1}{2}\Delta r$	$\frac{\sqrt{3}}{2}\Delta r$	$\Delta r$
$\Delta x+\Delta y$	$\Delta r$	$$\begin{gathered} \frac{\sqrt{3}+1}{2}\Delta r \\ =1.366\Delta r \end{gathered}$$	$$\begin{gathered} \frac{1+\sqrt{3}}{2}\Delta r \\ =1.366\Delta r \end{gathered}$$	$\Delta r$
$\Delta z=\Delta x+2\Delta y$	$\Delta r$	$$\begin{gathered} \frac{\sqrt{3}+2}{2}\Delta r \\ =1.866\Delta r \end{gathered}$$	$$\begin{gathered} \frac{1+2\sqrt{3}}{2}\Delta r \\ =2.232\Delta r \end{gathered}$$	$2\Delta r$

1. 喂的食量 $|\Delta x|+|\Delta y|$ $\ge$ 一碗的量$|\Delta r|$
2. 即使食量相同，得到的增量$\Delta z$也不一定一样，例如纯一碗饭与纯一碗饲料，因为增长的方向不同
3. 改变 $\Delta x,\Delta y$ 的大小比例，其实就在改变增长的方向，因为函数在方向上的导数不一样，因此结果增量$\Delta z$也就不一定一样了

用向量的知识应该更容易理解：
$$\begin{gathered} \Delta z=\Delta x+2\Delta y \\ =\left[\begin{array}{cc}\frac{\partial z}{\partial x}& \frac{\partial z}{\partial y}\end{array}\right]\left[\begin{array}{c}\Delta x\\ \Delta y\end{array}\right] \\ =\left[\begin{array}{cc}1& 2\end{array}\right]\left[\begin{array}{c}\Delta x\\ \Delta y\end{array}\right] \end{gathered}$$

这里梯度向量为 $\nabla \vec{z}$ :
$$\nabla \vec{z}=\left[\begin{array}{c}\frac{\partial z}{\partial x}\\ \frac{\partial z}{\partial y}\end{array}\right]=\left[\begin{array}{c}1\\ 2\end{array}\right]$$

而增量 $\Delta z$ 就是两个向量 $\nabla \vec{z}(1,2)与\Delta \vec{r}(\Delta x,\Delta y)$的点积，只有当两个向量共线同向时，点积最大并且最大值为 $\sqrt{5}\Delta r=\sqrt{5}\sqrt{(\Delta x{)}^2+(\Delta y{)}^2}$

也可以这样说: 在任意方向 $\vec{l}$，也就是图中的红色直线，与x轴夹角$\theta$，沿着这个方向增长一个$\Delta \vec{r}$，等效向量分解成一个 $\Delta \vec{x}$ 向量增长 与一个 $\Delta \vec{y}$ 向量增长，那么 z 相应地增长一个 $\Delta z$，当这个方向 $\vec{l}$ 刚好与 梯度 方向一致时，z 的增量 $\Delta z$ 可以达到最大化，也就是小猪长的最快的时候饭与饲料比例混合。

针对于一个函数
$$y=f(w_1,w_2,\dots ,b)=w_1{x}_1+w_2{x}_2+...+b$$

它的梯度为一个向量，用矩阵表示为：
$$\nabla \vec{f}=\left[\begin{array}{c}\frac{\partial f}{\partial w_1}\\ \frac{\partial f}{\partial w_2}\\ \dots \\ \frac{\partial f}{\partial w_n}\\ \frac{\partial f}{\partial b}\end{array}\right]$$

对于高维的方向就只能靠想像了，但结论都是一样的，只要变量在 梯度方向 上增长一个单位，例如： $\Delta w$，这时 $\Delta f$ 是最大的。

梯度下降法

再回过头来看上面的示例：
$$\begin{gathered} \Delta z=\sqrt{5}\Delta r\cdot (\sin \alpha \cos \theta +\cos \alpha \sin \theta ) \\ =\sqrt{5}\Delta r\cdot \sin (\alpha +\theta ) \end{gathered}$$

$\Delta z$ 也有最小值，即:
$$\begin{gathered} \alpha +\theta =\frac{3\pi }{2} \\ \Delta z_{min}=-\sqrt{5}\Delta r \end{gathered}$$

也就是变量在 梯度相反方向 上增长一个单位 $\Delta w$，这时 $\Delta f$ 是最小的，也就是下降最快的，这就是 梯度下降 的原理。

就像爬山，沿着 陡峭悬崖 爬上山顶用时最短，调个头，沿悬崖下山也是最快的。

再比如我们刚才的小猪，按照某种比例（1饭：2饲料）给它增加食量它长的最快，那我反过来按这个比例从中减少食量，那就是减肥就最明显的。

像 RSS 这种求 最小残差平方和 的，就非常适合用梯度下降法来求解，目标是尽可能快速找到抛物面的 谷底。

用之前小猪的例子，w，b 是未知，需要根据样本数据来求的，假设满足如下函数：
$$y=wx+b$$

RSS 公式：
$$RSS=\sum _{i=1}^m(\widehat{y_i}-y_i{)}^2$$

为了求导方便，令:

$$E=\frac{1}{2}RSS=\frac{1}{2}\sum _{i=1}^m(\widehat{y_i}-y_i{)}^2$$

前面我们已经求出:
$$\begin{gathered} \frac{\partial E}{\partial w}=\sum _{i=1}^m{x}_i(\widehat{y_i}-y_i) \\ \frac{\partial E}{\partial b}=\sum _{i=1}^m(\widehat{y_i}-y_i) \end{gathered}$$

那么 E 的梯度为：

$$\nabla \vec{E}=\left[\begin{array}{c}\frac{\partial E}{\partial w}\\ \frac{\partial E}{\partial b}\end{array}\right]\left[\begin{array}{c}\sum _{i=1}^m{x}_i(\widehat{y_i}-y_i)\\ \sum _{i=1}^m(\widehat{y_i}-y_i)\end{array}\right]$$

按照梯度的方向下降一个增量为 $\Delta r$，那么向量分解到 w 方向上的增量为 $\Delta w$，分解到 b 方向上的增量为 $\Delta b$，三者有勾股关系
$$\begin{gathered} |\Delta r|=\sqrt{|\Delta w{|}^2+|\Delta b{|}^2} \\ |\Delta w|=|\Delta r|\cos \theta \\ |\Delta b|=|\Delta r|\sin \theta \end{gathered}$$

其中，$\theta$ 是可以根据样本量求得的：
$$\begin{gathered} \tan \theta =\frac{\frac{\partial E}{\partial b}}{\frac{\partial E}{\partial w}}=\frac{\sum _{i=1}^m(\widehat{y_i}-y_i)}{\sum _{i=1}^m{x}_i(\widehat{y_i}-y_i)} \\ \theta =\arctan \frac{\sum _{i=1}^m(\widehat{y_i}-y_i)}{\sum _{i=1}^m{x}_i(\widehat{y_i}-y_i)} \\ \cos \theta =\frac{\frac{\partial E}{\partial w}}{\sqrt{(\frac{\partial E}{\partial w}{)}^2+(\frac{\partial E}{\partial b}{)}^2}} \\ =\frac{\sum _{i=1}^m{x}_i(\widehat{y_i}-y_i)}{\sqrt{(\sum _{i=1}^m{x}_i(\widehat{y_i}-y_i){)}^2+(\sum _{i=1}^m(\widehat{y_i}-y_i){)}^2}} \\ \sin \theta =\frac{\frac{\partial E}{\partial b}}{\sqrt{(\frac{\partial E}{\partial w}{)}^2+(\frac{\partial E}{\partial b}{)}^2}} \\ =\frac{\sum _{i=1}^m(\widehat{y_i}-y_i)}{\sqrt{(\sum _{i=1}^m{x}_i(\widehat{y_i}-y_i){)}^2+(\sum _{i=1}^m(\widehat{y_i}-y_i){)}^2}} \end{gathered}$$

做个简化，令

$$\begin{gathered} \eta =\frac{1}{\sqrt{(\frac{\partial E}{\partial w}{)}^2+(\frac{\partial E}{\partial b}{)}^2}} \\ =\frac{1}{\sqrt{(\sum _{i=1}^m{x}_i(\widehat{y_i}-y_i){)}^2+(\sum _{i=1}^m(\widehat{y_i}-y_i){)}^2}} \\ \Delta w=\Delta r\cos \theta =\eta \Delta r\cdot \frac{\partial E}{\partial w} \\ \Delta b=\Delta r\sin \theta =\eta \Delta r\cdot \frac{\partial E}{\partial b} \end{gathered}$$

参数更新后为：
$$\begin{gathered} w_{t+1}=w_t-\Delta w=w_t-\eta \Delta r\frac{\partial E}{\partial w} \\ {b}_{t+1}=b_t-\Delta b=b_t-\eta \Delta r\frac{\partial E}{\partial b} \end{gathered}$$

这就是在各种资料出现的梯度下降的公式，为了更进一步简化， 步长 $\eta \Delta r$ 不用上面那么准确地求解，直接用一个很小的数值来代替，比如：$\eta \Delta r=0.01$，步长越小，意味爬得慢，一点一点往下爬，迭代次数越多，需要很多次才走到谷底，即最后找到一组 $w,b$，使RSS达到最小。

反向传播

那么到底下降多少呢？这就要定 $\Delta r$ 了，$\Delta r$ 与 $\Delta E$ 之间就像中间存在一个杠杆一样，如果误差 $\Delta E$ 太大，那我就回调一下 $\Delta r$，分解对应着 $\Delta w$, $\Delta b$，让它回退一点点，就能让误差也小一点，这就是误差 反向传播 机制。

python 验证

生成一些随机数据

import numpy as np
import matplotlib.pyplot as plt

# 生成一些随机数据
np.random.seed(0)
x = 2 * np.random.rand(100, 1)
y = 4 + 3 * x + np.random.randn(100, 1)

# 可视化数据
plt.scatter(x, y)
plt.xlabel('x')
plt.ylabel('y')
plt.title('Data')
plt.show()

梯度下降算法实现

# 初始化参数
w = 0
b = 0
m = len(x)
lr = 0.01
round = 1000

#训练
for i in range(round):
    y_pred = w * x + b
    dw = (1/m) * np.sum(x * (y_pred-y))
    db = (1/m) * np.sum(y_pred-y)
    # print(f'dw={dw},db={db}')
    w = w - lr * dw
    b = b - lr * db
# 输出最终参数
print(f"w={w},b={b}")

例如求得结果为：w=3.125936517774015,b=4.0446871544206235

可视化手动实现的拟合结果:

y_pred = w * x + b
plt.scatter(x, y)
plt.plot(x, y_pred, color='green')
plt.xlabel('x')
plt.ylabel('y')
plt.title('Manual Gradient Descent Fit')
plt.show()

均方差 MSE

有点地方要注意的是，大多数教程都是用 均方差 作为 损失函数

$$MSE=\frac{1}{m}RSS=\frac{1}{m}\sum _{i=1}^m(\widehat{y_i}-y_i{)}^2$$

那为了求导少带系数，再除以个2，得到 J
$$J(w,b)=\frac{1}{2}MSE=\frac{1}{2m}RSS=\frac{1}{2m}\sum _{i=1}^m(\widehat{y_i}-y_i{)}^2$$

而在上面理论推导，我为了求导方便少带系数采用了 E：

$$E=\frac{1}{2}RSS=\frac{1}{2}\sum _{i=1}^m(\widehat{y_i}-y_i{)}^2$$

J 比 E 多除了个 m，即：

$$J=\frac{1}{2m}RSS=\frac{1}{m}E$$

影响梯度偏导也多除一个 m，即：

$$\nabla \vec{J}=\left[\begin{array}{c}\frac{\partial J}{\partial w}\\ \frac{\partial J}{\partial b}\end{array}\right]\left[\begin{array}{c}\frac{1}{m}\sum _{i=1}^m{x}_i(\widehat{y_i}-y_i)\\ \frac{1}{m}\sum _{i=1}^m(\widehat{y_i}-y_i)\end{array}\right]$$

这样会让反向传播中的 $\Delta E$ 小一点，相应地 $\Delta w,\Delta b$ 也会变化小点，我程序上也用的是这个

dw = (1/m) * np.sum(x * (y_pred-y))
db = (1/m) * np.sum(y_pred-y)

从训练结果上来看，这个常量不会对最终结果有什么影响，但会影响步长，从而影响收敛速度。

有一点要注意，m 必须大于1，这里所讲的是程序中的 m，仅仅是一个数值，并不代表样本总数：

1. 当 $m\le 1$，也就是 (1/m) 这个系数小于1，结果离谱得很，会发散数值溢出
2. 而当 $m>1$，即 (1/m) 这个系数小于1 时，结果收敛，它的作用也有可能就是想让计算机在计算时避免大数值的溢出。

造成与理论差异关键就在于实用时用估算值替代，比如步长 $\eta \Delta r$ 直接是用 0.01 估算，这会影响到训练时的步数。步长太大，可能错过了谷底甚至可能来回振荡，步长太小，收敛速度太慢，导致训练轮次数量会很多。

下面是程序实验计算的结果:

1. m=1 时，结果已经发散，求不出 w 与 b，即

# dw = np.sum(x * (y_pred-y))
# db = np.sum(y_pred-y)

dw=-850.1683501683501,db=3.552713678800501e-15
dw=6377.693886111394,db=-4.263256414560601e-14
dw=-47843.44100422958,db=4.547473508864641e-13
dw=358906.352045197,db=-1.8189894035458565e-12
dw=-2692401.859786865,db=1.2732925824820995e-11
...
dw=-5.4253529775673765e+305,db=7.918067634262499e+288
dw=4.069928092262665e+306,db=-7.308985508549999e+289
dw=-3.053131242276504e+307,db=9.745314011399999e+290
dw=inf,db=-1.559250241824e+290
dw=-inf,db=nan

1. m=2时，得到结果与最小二乘法算到的是一样大小：

# dw = 1/2 * np.sum(x * (y_pred-y))
# db = 1/2 *  np.sum(y_pred-y)

dw=-381.677900861596,db=-351.4548690576116
dw=18.57224973839901,db=4.727525676626343
dw=4.946675978330024,db=-6.4170824238898465
dw=4.946818532305948,db=-5.547299140563914
dw=4.535645479339176,db=-5.112474897542561
dw=4.171064141390431,db=-4.700662689615653
...
dw=1.2484696436387832e-14,db=-2.4868995751603507e-14
dw=1.2484696436387832e-14,db=-2.4868995751603507e-14
dw=1.2484696436387832e-14,db=-2.4868995751603507e-14

w=2.9684675107010214,b=4.222151077447227

1. m=len(x)=100 时，也就是与样本数量一致时：

# dw = 1/m * np.sum(x * (y_pred-y))
# db = 1/m *  np.sum(y_pred-y)

dw=-7.633558017231921,db=-7.029097381152232
dw=-7.47345795699192,db=-6.886624423258533
dw=-7.316668902546804,db=-6.747090081387518
dw=-7.163122453666059,db=-6.6104336609161045
dw=-7.012751623042291,db=-6.4765957209516
dw=-6.865490807105078,db=-6.345518048433969
dw=-6.721275757437722,db=-6.217143632773047
dw=-6.580043552784417,db=-6.091416641009688
...
dw=0.025467711868425648,db=-0.028701534563458184
dw=0.025426721224795897,db=-0.028655338763381374
dw=0.02538579655360806,db=-0.0286092173188295

w=3.125936517774015,b=4.0446871544206235

当 m=2*len(x) =200 时，

# dw = 1/(2*m) * np.sum(x * (y_pred-y))
# db = 1/(2*m) *  np.sum(y_pred-y)

dw=-3.8167790086159603,db=-3.514548690576116
dw=-3.776753993555959,db=-3.4789304511026917
dw=-3.7371428542203198,db=-3.443679538632103
dw=-3.6979413155946346,db=-3.4087921597504054
dw=-3.659145146818342,db=-3.3742645602227346
dw=-3.620750160728698,db=-3.340093024588643
dw=-3.582752213409447,db=-3.3062738757616335
...
dw=0.028309798773081957,db=-0.032154331529856306
dw=0.028288197439600916,db=-0.03212740685678457
dw=0.028266601289693175,db=-0.03210051467730426

w=3.320819548442338,b=3.8248240221727645