---

1 线性回归模型

  线性模型概念：通过数据学习得到一个通过自变量的线性组合来进行预测因变量的函数
$$y=w_1{x}_1+w_2{x}_2+\cdots +w_n{x}_n+b\text{\hspace{1em}(1.1)}$$
  大多数所见到的均为向量形式，如下：
$$y=w^{T}x+b\text{\hspace{1em}(1.2)}$$

1.1 一元线性回归(Simple linear regression)

  已知数据集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x n , y n ) } D=\left \{ (x_1,y_1),(x_2,y_2),\cdots ,(x_n,y_n) \right \} D={(x1​,y1​),(x2​,y2​),⋯,(xn​,yn​)}，仅存在一个自变量$x$与一个因变量$y$。

  对于一元线性回归我们试图学得：
$$f(x_i)=\mathbf{w}{\mathbf{x}}_{\mathbf{i}}+b,使得f({\mathbf{x}}_{\mathbf{i}})\approx y_i\text{\hspace{1em}(1.1.1)}$$
  因此确定 $w$ 与 $b$ 是主要的问题，并且上式表明$f(x_i)与y$之间的差别需要尽可能的小，在回归任务中常用均方误差作为性能度量，故我们可以尝试让均方误差最小：
$$\begin{array}{rl}(w^{\ast },b^{\ast })& =arg\underset{(w,b)}{\min }\sum _{i=1}^m(f(x_i)-y_i{)}^2\\ & =arg\underset{(w,b)}{\min }\sum _{i=1}^m(y_i-w{x}_i-b{)}^2\end{array}\text{\hspace{1em}(1.1.2)}$$
  注：上式 $arg\underset{(w,b)}{\min }$ 的含义就是求得均方误差${\sum }_{i=1}^m(f(x_i)-y_i{)}^2$最小值时所对应的 $w$ 与 $b$ 的值。
  这种基于均方误差最小化的模型称为 $“\mathbf{最小二乘法}”$，此处均方误差的公式恰好对应了$\mathbf{欧式距}{\mathbf{离}}^1$，该算法的目的就是试图找到一条直线，使得样本点欧式距离直线之和最小。

1.欧式距离：假设二维平面存在两点$A(x_1,y_1)、B(x_2,y_2)$，两点之间的欧式距离为
$$d=\sqrt{(x_1-x_2{)}^2+(y_1-y_2{)}^2}\text{\hspace{1em}(1.1.3)}$$
  三维空间下的欧式距离为：
$$d=\sqrt{(x_1-y_1{)}^2+(x_2-y_2{)}^2+\cdots +(x_n-y_2{)}^2}\text{\hspace{1em}(1.1.4)}$$
  推广到N维空间下，如下式：
$$d=\sqrt{(x_2-x_1{)}^2+(y_2-y_2{)}^2+(z_2-z_1{)}^2}\text{\hspace{1em}(1.1.5)}$$
  求解$w$与$b$的过程，实际上是求函数$E(w,b)={\sum }_{i=1}^m(y_i-w{x}_i-b{)}^2$最小化的过程，该过程称为最小线性回归的最小二乘参数估计（Parameter Estimation）。

  根据高等数学的知识我们可以知道，对于一个多元函数求最值，是对参数求偏导，并令其偏导为0，故有以下的数学过程：

$$\begin{array}{rl}\frac{\partial E(w,b)}{\partial w}& =\frac{\partial }{\partial x}[\sum _{i=1}^m(y_i-w{x}_i-b{)}^2]\\ & =2\ast (-x_i)[\sum _{i=1}^m(y_i-w{x}_i-b{)}^{2-1}]\\ & =\sum _{i=1}^m-2x_i{y}_i+2w{x}_i^2+2b{x}_i\\ & =2[w\sum _{i=1}^m{x}_i^2-\sum _{i=1}^m(y_i-b)x_i]\end{array}\text{\hspace{1em}(1.1.6)}$$
$$\begin{array}{rl}\frac{\partial E(w,b)}{\partial b}& =\frac{\partial }{\partial x}[\sum _{i=1}^m(y_i-w{x}_i-b{)}^2]\\ & =2\ast (-1)[\sum _{i=1}^m(y_i-w{x}_i-b{)}^{2-1}]\\ & =\sum _{i=1}^m[2\ast (b-y_i+w{x}_i)]\\ & =2[\sum _{i=1}^{m}b-\sum _{i=1}^m{y}_i+\sum _{i=1}^{m}w{x}_i]\\ & =2[mb-\sum _{i=1}^m(y_i-w{x}_i)]\end{array}\text{\hspace{1em}(1.1.7)}$$
  最终得到对于$w$、$b$偏导为：
$$\frac{\partial E(w,b)}{\partial w}=2[w\sum _{i=1}^m{x}_i^2-\sum _{i=1}^m(y_i-b)x_i]\text{\hspace{1em}(1.1.8)}$$
$$\frac{\partial E(w,b)}{\partial b}=2[mb-\sum _{i=1}^m(y_i-w{x}_i)]\text{\hspace{1em}(1.1.9)}$$
  分别令：$$\frac{\partial E(w,b)}{\partial w}=0，\frac{\partial E(w,b)}{\partial b}=0$$
  解得：
$$\begin{array}{rl}b& =\frac{1}{m}\sum _{i=1}^m(y_i-w{x}_i)，w=\frac{{\sum }_{i=1}^m{y}_i(x_i-\bar{x})}{{\sum }_{i=1}^m{x}_i^2-\frac{1}{m}({\sum }_{i=1}^m{x}_i{)}^2}\end{array}\text{\hspace{1em}(1.1.10)}$$
  就此，我们得到了一元线性回归模型的解。

---

1.2 多元线性回归(Multivariate linear regression)

  已知数据集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x n , y n ) } D=\left \{ (x_1,y_1),(x_2,y_2),\cdots ,(x_n,y_n) \right \} D={(x1​,y1​),(x2​,y2​),⋯,(xn​,yn​)}，其中 $x_i=(x_{i1},x_{i2},\cdots ,x_{id})$

  更多情况下，数据集并非单个属性，而是由多个属性构成，此时称为多元线性回归。

  对于多元线性回归我们试图学得：
$$f(x_i)={\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b,使得f({\mathbf{x}}_{\mathbf{i}})\approx y_i$$
  其中 $X$ 为$(N\times d)$维向量，而由于常数项的存在导致 $W$ 维度为$(N+1)\times 1$
$$X=\left(\begin{array}{cccc}{x}_{11}& \cdots & x_{1d}& \\ x_{21}& \cdots & x_{2d}& \\ \cdots & \cdots & \cdots & \\ \cdots & \cdots & \cdots & \\ x_{n1}& \cdots & x_{1d}& \end{array}\right)w=\left(\begin{array}{c}{w}_0\\ w_1\\ \cdots \\ w_{n-1}\\ w_n\end{array}\right)$$
  为了方便运算，我们在$X$后增加一列，其值均为1，得到
$$X=\left(\begin{array}{cccc}{x}_{11}& \cdots & x_{1d}& 1\\ x_{21}& \cdots & x_{2d}& 1\\ \cdots & \cdots & \cdots & \cdots \\ \cdots & \cdots & \cdots & \cdots \\ x_{n1}& \cdots & x_{1d}& 1\end{array}\right)$$
  该步骤的目的是为了将偏置$b$合并至$w$，便于后续的求解运算。

  与此同时，我们将$y$写成向量的形式$y=(y_1;y_2;y_3;\dots ;y_n)$，类似于式(1.1.2)，我们得到
$${\hat{\mathbf{w}}}^{\ast }=\arg \underset{\hat{w}}{\min }(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}}{)}^{\mathbf{T}}(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})$$
  令 $E(\hat{w})=(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}}{)}^{\mathbf{T}}(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})$，对$\hat{w}$求偏导:
$$\frac{\partial E(w)}{\partial x}=2{\mathbf{X}}^{\mathbf{T}}(\mathbf{X}\hat{\mathbf{w}}-\mathbf{y})$$
  令上式=0，最终得到$w$的解为：
$$\mathbf{w}=({\mathbf{X}}^{\mathbf{T}}\mathbf{X}{)}^{-1}{\mathbf{X}}^{\mathbf{T}}\mathbf{y}$$
  注意，该解只适用于满秩矩阵，但实际我们往往遇到的不是满秩矩阵，遇到的变量数目超过样本量，导致$X$的列数大于行数，此时就需要引入正则项。

---

1.3 对数线性回归(Log linear regression)

$$基本形式：lny=w^{T}x+b\text{\hspace{1em}(1.3.1)}$$

  该形式实际上是使得 $e^{w^{T}x+b}$ 逼近 $y$，更一般的情况我们可以考虑单调可微函数$g(\cdot )$，令
$$y=g^{-1}(w^{T}x+b)\text{\hspace{1em}(1.3.2)}$$
  这样得到的模型称为“广义线性模型”（generalized linear model），其中$g(\cdot )$称为联系函数，模型中的 $g^{-1}$ 为 $g(\cdot )$ 的反函数，此处要注意的是$w^{T}x+b$为函数的自变量，而并非$g^{-1}$与$w^{T}x+b$的乘积

---

1.4 对数几率回归(Logistic Regression）

  对数几率回归也称逻辑回归，是用于处理二分类任务的，其输出值 y ∈ { 0 , 1 } y\in \left \{ 0,1 \right \} y∈{0,1}

  一般线性回归模型 $y=w^{T}x+b$ 的输出值为实值，因此我们需要考虑将这些实值转化为0-1值，此处就需要用到对数几率函数（Logistic function）：
$$y=\frac{1}{1+e^{-z}}\text{\hspace{1em}(1.4.1)}$$
  该函数是一种$Sigmoid$函数，它能够很好地将输出值转化为[0,1]间的值，该函数具有如下的特性：当$x$趋近于负无穷时，$y$趋近于$0$；当$x$趋近于正无穷时，$y$趋近于1；当$x=0$时，$y=1/2$

  其函数如下图：

  为了满足二分类任务的要求，我们将对数几率函数作为$g(\cdot {)}^{-1}$代入广义线性模型中得到对数几率回归模型：
$$y=\frac{1}{1+e^{-(w^{T}x+b)}}\text{\hspace{1em}(1.4.2)}$$
   此处为了便于计算，类似于章节1.2中的处理方法，令$\beta =(w;b),\hat{x}=(x;1)$将偏置项 $b$ 合并至 $w$ 中，则 $w^{T}x+b$ 可写为 ${\beta }^{T}x$。

   故模型变化为：
$$y=\frac{1}{1+e^{-{\beta }^{T}x}}\text{\hspace{1em}(1.4.3)}$$

  像对数线性回归一样，我们对两边同时取对数：
$$\begin{array}{rl}\ln y& =\ln \frac{1}{1+e^{-{\beta }^{T}x}}\\ \ln y& =\ln \frac{e^{{\beta }^{T}x}}{1+e^{{\beta }^{T}x}}\\ \ln y& =\ln e^{{\beta }^{T}x}-\ln (1+e^{{\beta }^{T}x})\\ {\beta }^{T}x& =\ln y+\ln (1+e^{{\beta }^{T}x})\end{array}\text{\hspace{1em}(1.4.4)}$$

---

   接下来对公式(1.4.4)进行化简，已知：
$$\begin{array}{rl}y& =\frac{1}{1+e^{-{\beta }^{T}x}}\\ & =\frac{e^{{\beta }^{T}x}}{1+e^{{\beta }^{T}x}}\end{array}$$
   容易得到：
$$\begin{array}{rl}1-y& =1-\frac{1}{1+e^{-{\beta }^{T}x}}\\ & =\frac{1+e^{-{\beta }^{T}x}}{1+e^{-{\beta }^{T}x}}-\frac{1}{1+e^{-{\beta }^{T}x}}\\ & =\frac{e^{-{\beta }^{T}x}}{1+e^{-{\beta }^{T}x}}\\ & =\frac{1}{1+e^{{\beta }^{T}x}}=(1+e^{{\beta }^{T}x}{)}^{-1}\end{array}$$
  同时对两边取对数：
$$\begin{array}{rl}\ln (1-y)& =\ln (1+e^{{\beta }^{T}x}{)}^{-1}\\ \ln (1-y)& =-\ln (1+e^{{\beta }^{T}x})\\ -\ln (1-y)& =\ln (1+e^{{\beta }^{T}x})\end{array}\text{\hspace{1em}(1.4.5)}$$
  回到公式(1.4.4)，将公式(1.4.5)代入得到：
$$\begin{array}{rl}{\beta }^{T}x& =\ln y+\ln (1+e^{{\beta }^{T}x})\\ {\beta }^{T}x& =\ln y-\ln (1-y)\end{array}\text{\hspace{1em}(1.4.6)}$$

---

  最终通过化简得到：
$${\beta }^{T}x=\ln \frac{y}{1-y}\text{\hspace{1em}(1.4.7)}$$
  若将 $y$ 视为正实例$(y=1)$的概率，那么$1-y$即为负实例$(y=0)$的概率，此处 $\frac{y}{1-y}$ 称为几率；自然地，$ln\frac{y}{1-y}$称为对数几率。

  通过式(1.4.7)我们可以观察得到，该模型是通过线性回归模型的预测值逼近真实标记的对数几率，因此称为对数几率回归，确定式中的 $\beta$ 是核心问题：

  在概率统计中我们知道，对于两个独立事件 $A$ 与 $B$ 有:$$P(A|B)=P(A)$$
   故得到:
$$\begin{array}{rl}y=1的概率& ：P(y=1丨\mathbf{x})=y\\ y=0的概率& ：P(y=0丨\mathbf{x})=1-y\end{array}$$
   将公式(1.4.3)代入容易得到，
$$\begin{array}{rl}P(y=1丨\mathbf{x})& =\frac{1}{1+e^{-{\beta }^T\mathbf{x}}}=\frac{e^{{\beta }^T\mathbf{x}}}{1+e^{{\beta }^T\mathbf{x}}}=h({\beta }^{T}x)\\ P(y=0丨\mathbf{x})& =1-\frac{1}{1+e^{-{\beta }^T\mathbf{x}}}=\frac{1}{1+e^{{\beta }^T\mathbf{x}}}=1-h({\beta }^{T}x)\end{array}\text{\hspace{1em}(1.4.8)}$$
   根据$0-1分布$的公式，我们将上式合并得到：
$$P(y=y_i丨\mathbf{x})=h({{\beta }^{T}x)}^{y_i}[1-h({\beta }^{T}x){]}^{1-y_i}$$
   为了求解 $w$ 与 $b$，我们采用极大似然估计法来对参数 $w$ 与 $b$ 进行估计：

   1. 写出似然函数
$$\begin{array}{rl}L(\beta )& =\prod _{i=1}^{n}p(y_i丨x_i,w,b)\\ & =\prod _{i=1}^{n}h({{\beta }^{T}x)}^{y_i}[1-h({\beta }^{T}x){]}^{1-y_i}\end{array}\text{\hspace{1em}(1.4.9)}$$
   2. 写出对数似然函数
$$\begin{array}{rl}ln[L(\beta )]& =\sum _{i=1}^{n}lnh({{\beta }^{T}x)}^{y_i}\left\{[1-h({\beta }^{T}x){]}^{1-y_i}\right\}\\ & =\sum _{i=1}^{n}lnh({{\beta }^{T}x)}^{y_i}+ln[1-h({\beta }^{T}x){]}^{1-y_i}\\ & =y_i\sum _{i=1}^{n}lnh({\beta }^{T}x)+(1-y_i)\sum _{i=1}^{n}ln[1-h({\beta }^{T}x)]\\ & =y_i\sum _{i=1}^{n}ln\frac{e^{{\beta }^T{x}_i}}{1+e^{{\beta }^T{x}_i}}+(1-y_i)\sum _{i=1}^{n}ln\frac{1}{1+e^{{\beta }^T{x}_i}}\\ & =y_i\sum _{i=1}^n[ln{e}^{{\beta }^T{\mathbf{x}}_{\mathbf{i}}}-ln(1+e^{{\beta }^T{\mathbf{x}}_{\mathbf{i}}})]+(1-y_i)(-1)\sum _{i=1}^{n}ln(1+e^{{\beta }^T{x}_i})\\ & =y_i\sum _{i=1}^{n}ln{e}^{{\beta }^T{x}_i}-y_i\sum _{i=1}^{n}ln(1+e^{{\beta }^T{x}_i})-\sum _{i=1}^{n}ln(1+e^{{\beta }^T{x}_i})+y_i\sum _{i=1}^{n}ln(1+e^{{\beta }^T{x}_i})\\ & =y_i\sum _{i=1}^{n}ln{e}^{{\beta }^T{x}_i}+y_i\sum _{i=1}^{n}ln(1+e^{{\beta }^T{x}_i})\\ & =y_i({\beta }^T{x}_i)-\sum _{i=1}^n\ln (1+e^{{\beta }^T{x}_i})\end{array}\text{\hspace{1em}(1.4.10)}$$
   3. 最大化对数似然函数
$$\begin{array}{r}\max ln[L(\beta )]=\max \left\{y_i({\beta }^T{x}_i)-\sum _{i=1}^n\ln (1+e^{{\beta }^T{x}_i})\right\}\end{array}\text{\hspace{1em}(1.4.11)}$$
  进而，我们对原问题进行转化，将最大化问题转换为最小化问题
max ⁡ l n [ L ( β ) ] ⟹ min ⁡ { − l n [ L ( β ) ] } \max ln[L(\beta)]\Longrightarrow \min \left \{ -ln[L(\beta)] \right \} maxln[L(β)]⟹min{−ln[L(β)]}
   令：
$$\begin{array}{rl}\ell (\beta )& =-ln[L(\beta )]\\ & =-y_i({\beta }^T{x}_i)+\sum _{i=1}^n\ln (1+e^{{\beta }^T{x}_i})\end{array}\text{\hspace{1em}(1.4.12)}$$
   于是得到：
$${\beta }^{\ast }=\arg \underset{\beta }{\min }\ell (\beta )\text{\hspace{1em}(1.4.13)}$$
   接下来的任务就是利用最优化理论求解其最优解，经典的数值优化算法有牛顿法（Newton method）、梯度下降法(gradient descent method)。

  如果内容对各位有帮助的话，麻烦点个赞与关注，后续会不断更新机器学习理论推导与代码实战的相关内容，十分感谢！