当你迷茫的时候，请回头看看 目录大纲，也许有你意想不到的收获

前言

看看下面这幅汇总图，是否看到了一部进化史？就像人类进化一样，从直立人到智人再到现代人，功能越来越强大，结构也越来越复杂：

一元线性回归

一元线性回归 函数表达式如下，其中 i 为样本序号：

$$z_i=w{x}_i+b$$

特点：一枝独秀

也可以写成 多元线性回归 的形式：

全部样本用矩阵表示如下，m 为样本总数：

$$\left[\begin{array}{c}{z}_1\\ z_2\\ \dots \\ z_m\end{array}\right]=\left[\begin{array}{cc}{x}_1& 1\\ x_2& 1\\ \dots & \dots \\ x_m& 1\end{array}\right]\left[\begin{array}{c}w\\ b\end{array}\right]$$

一切皆矩阵，令：
$$X={\left[\begin{array}{cc}{x}_1& 1\\ x_2& 1\\ \dots & \dots \\ x_m& 1\end{array}\right]}_{m\times 2},W={\left[\begin{array}{c}w\\ b\end{array}\right]}_{2\times 1},Z={\left[\begin{array}{c}{z}_1\\ z_2\\ \dots \\ z_m\end{array}\right]}_{m\times 1}$$

简记为：
$$Z=XW$$

多元线性回归

特点： 根正苗红 ，多输入，单输出：

全部样本用矩阵表示如下，m 为样本总数，n为多元输入数量：
$$\left[\begin{array}{c}{z}_1\\ z_2\\ \dots \\ z_m\end{array}\right]=\left[\begin{array}{cccc}{x}_{11}& x_{12}& \dots & x_{1n}\\ x_{21}& x_{22}& \dots & x_{2n}\\ \dots & \dots & \dots & \dots \\ x_{m1}& x_{m2}& \dots & x_{mn}\end{array}\right]\left[\begin{array}{c}{w}_1\\ w_2\\ \dots \\ w_n\end{array}\right]$$

简记为：
$$Z=XW$$

二分类逻辑回归

如果把 线性加和 看作是节，$\sigma$ 函数处理为枝，其特点是 节外生枝：

二分类是在多元线性回归基础上增加一个 $\sigma$ 函数得到 概率输出

全部样本用矩阵表示如下，m 为样本总数：
$$\left[\begin{array}{c}{u}_1\\ u_2\\ \dots \\ u_m\end{array}\right]=\left[\begin{array}{cccc}{x}_{11}& x_{12}& \dots & x_{1n}\\ x_{21}& x_{22}& \dots & x_{2n}\\ \dots & \dots & \dots & \dots \\ x_{m1}& x_{m2}& \dots & x_{mn}\end{array}\right]\left[\begin{array}{c}{w}_1\\ w_2\\ \dots \\ w_n\end{array}\right]$$

简记为：
$$U=XW$$

z 与 u 的关系：
$$z_i=\sigma (u_i)=\frac{1}{1+e^{-u_i}}$$

所以有
$$Z=\left[\begin{array}{c}{z}_1\\ z_2\\ \dots \\ z_m\end{array}\right]=\left[\begin{array}{c}\sigma (u_1)\\ \sigma (u_2)\\ \dots \\ \sigma (u_m)\end{array}\right]$$

简记为
$$Z=\sigma (XW)$$

多分类逻辑回归

特点： 花开两朵，各表一枝 ：

全部样本用矩阵表示如下，m 为样本总数，c 为类别总数：
$${\left[\begin{array}{cccc}{u}_{11}& u_{12}& \dots & u_{1c}\\ u_{21}& u_{22}& \dots & u_{2c}\\ \dots & \dots & \dots & \dots \\ u_{m1}& u_{m2}& \dots & u_{mc}\end{array}\right]}_{m\times c}={\left[\begin{array}{cccc}{x}_{11}& x_{12}& \dots & x_{1n}\\ x_{21}& x_{22}& \dots & x_{2n}\\ \dots & \dots & \dots & \dots \\ x_{m1}& x_{m2}& \dots & x_{mn}\end{array}\right]}_{m\times n}{\left[\begin{array}{cccc}{w}_{11}& w_{21}& \dots & w_{c1}\\ w_{12}& w_{22}& \dots & w_{c2}\\ \dots & \dots & \dots & \dots \\ w_{1n}& w_{2n}& \dots & w_{cn}\end{array}\right]}_{n\times c}$$

那么有
$$Z=\left[\begin{array}{cccc}{z}_{11}& z_{12}& \dots & z_{1c}\\ z_{21}& z_{22}& \dots & z_{2c}\\ \dots & \dots & \dots & \dots \\ z_{m1}& z_{m2}& \dots & z_{mc}\end{array}\right]=\left[\begin{array}{cccc}f(u_{11})& f(u_{12})& \dots & f(u_{1c})\\ f(u_{21})& f(u_{22})& \dots & f(u_{2c})\\ \dots & \dots & \dots & \dots \\ f(u_{m1})& f(u_{m2})& \dots & f(u_{mc})\end{array}\right]$$

其中 f 为 softmax 函数:
$$f(u_{ij})=\frac{e^{u_{ij}}}{\sum _{k=1}^c{e}^{u_{ik}}}$$

简记为：
$$\begin{gathered} U=XW \\ Z=f(U)=f(XW) \end{gathered}$$

如果把 u 与 w 写成下面这种形式，i 为样本序号，j 为类别序号：
$$\begin{gathered} z_i=\left[\begin{array}{cccc}{z}_{i1}& z_{i2}& \dots & z_{ic}\end{array}\right], \\ {u}_i=\left[\begin{array}{cccc}{u}_{i1}& u_{i2}& \dots & u_{ic}\end{array}\right], \\ {w}_j=\left[\begin{array}{cccc}{w}_{11}& w_{21}& \dots & w_{c1}\end{array}\right] \end{gathered}$$

那就与 二分类回归 中的这个表达式是一样的：

$$\left[\begin{array}{c}{u}_1\\ u_2\\ \dots \\ u_m\end{array}\right]=\left[\begin{array}{cccc}{x}_{11}& x_{12}& \dots & x_{1n}\\ x_{21}& x_{22}& \dots & x_{2n}\\ \dots & \dots & \dots & \dots \\ x_{m1}& x_{m2}& \dots & x_{mn}\end{array}\right]\left[\begin{array}{c}{w}_1\\ w_2\\ \dots \\ w_n\end{array}\right]$$

神经网络

特点：盘根错节

提前预告一下，神经网络基础就是多分类回归，通过多层堆叠形成一个神经网络：

上面绿色的计算节点是把激活函数与线性求和整合到了一起，不然画不下了，例如：

$$\begin{gathered} h_{ij}=sign(\sum _{k=1}^n(x_{ik}{w}_{jk})) \\ {z}_{id}=sign(\sum _{j=1}^c(h_{ij}{v}_{dj})) \end{gathered}$$

sign 为符号函数，像前面 $\sigma$ 函数也是其中一种，还有 RELU，tanh 等等，主要就是给线性网络增加 非线性 因素，让神经网络可以模拟表达出非线性。

总结

1. 从上述图中，我们看到它在一点点向复杂进化，开始 单输入单输出 --> 多输入单输出 --> 多输入多输出，一步一步，彼此之间又有关联与相似。
2. 从 矩阵 我们可以看出一些规律，输入 X 与输出 Z 矩阵行 为样本，输入矩阵 X 的 矩阵列 为维度，输出矩阵 Z 的 矩阵列 为类别。