1. Logistic回归简介

Logistic回归是解决二分类问题的分类算法。假设有$m$个训练样本$\left\{\left({\mathbf{x}}^{(1)},y^{(1)}\right),\left({\mathbf{x}}^{(2)},y^{(2)}\right),\cdots ,\left({\mathbf{x}}^{(m)},y^{(m)}\right)\right\}$，对于Logistic回归，其输入特征为：${\mathbf{x}}^{(i)}\in {\Re }^{n+1}$，类标记为： y ( i ) ∈ { 0 , 1 } y^{(i)}\in \left \{ 0,1 \right \} y(i)∈{0,1}，假设函数为Sigmoid函数：

$$h_{\theta }\left(x\right)=\frac{1}{1+e^{-{\theta }^{T}x}}$$

其中，模型的参数为$\theta$，需要通过最小化损失函数得到，模型的损失函数为：

$$J\left(\theta \right)=-\frac{1}{m}\sum _{i=1}^m\left[y^{(i)}log{h}_{\theta }\left({\mathbf{x}}^{(i)}\right)+\left(1-y^{(i)}\right)log\left(1-h_{\theta }\left({\mathbf{x}}^{(i)}\right)\right)\right]$$

此时，可以通过梯度下降法对其进行求解，其梯度为：

$$\begin{array}{c}{▽}_{{\theta }_j}J\left(\theta \right)=-\frac{1}{m}{\sum }_{i=1}^m\left[\frac{y^{(i)}}{h_{\theta }\left({\mathbf{x}}^{(i)}\right)}\cdot {▽}_{{\theta }_j}{h}_{\theta }\left({\mathbf{x}}^{(i)}\right)+\frac{1-y^{(i)}}{1-h_{\theta }\left({\mathbf{x}}^{(i)}\right)}\cdot {▽}_{{\theta }_j}\left(1-h_{\theta }\left({\mathbf{x}}^{(i)}\right)\right)\right]\\ =-\frac{1}{m}{\sum }_{i=1}^m\left[\frac{y^{(i)}}{h_{\theta }\left({\mathbf{x}}^{(i)}\right)}\cdot {▽}_{{\theta }_j}{h}_{\theta }\left({\mathbf{x}}^{(i)}\right)-\frac{1-y^{(i)}}{1-h_{\theta }\left({\mathbf{x}}^{(i)}\right)}\cdot {▽}_{{\theta }_j}{h}_{\theta }\left({\mathbf{x}}^{(i)}\right)\right]\\ =-\frac{1}{m}{\sum }_{i=1}^m\left[\left(\frac{y^{(i)}}{h_{\theta }\left({\mathbf{x}}^{(i)}\right)}-\frac{1-y^{(i)}}{1-h_{\theta }\left({\mathbf{x}}^{(i)}\right)}\right)\cdot {▽}_{{\theta }_j}{h}_{\theta }\left({\mathbf{x}}^{(i)}\right)\right]\end{array}$$

$$\begin{array}{c}=-\frac{1}{m}{\sum }_{i=1}^m\left[\frac{y^{(i)}-h_{\theta }\left({\mathbf{x}}^{(i)}\right)}{h_{\theta }\left({\mathbf{x}}^{(i)}\right)\left(1-h_{\theta }\left({\mathbf{x}}^{(i)}\right)\right)}\cdot {▽}_{{\theta }_j}{h}_{\theta }\left({\mathbf{x}}^{(i)}\right)\right]\\ =-\frac{1}{m}{\sum }_{i=1}^m\left[\frac{y^{(i)}-h_{\theta }\left({\mathbf{x}}^{(i)}\right)}{h_{\theta }\left({\mathbf{x}}^{(i)}\right)\left(1-h_{\theta }\left({\mathbf{x}}^{(i)}\right)\right)}\cdot {▽}_{{\theta }^T{\mathbf{x}}^{(i)}}{h}_{\theta }\left({\mathbf{x}}^{(i)}\right)\cdot {▽}_{{\theta }_j}\left({\theta }^T{\mathbf{x}}^{(i)}\right)\right]\end{array}$$

而：

$${▽}_{{\theta }^T{\mathbf{x}}^{(i)}}{h}_{\theta }\left({\mathbf{x}}^{(i)}\right)=h_{\theta }\left({\mathbf{x}}^{(i)}\right)\left(1-h_{\theta }\left({\mathbf{x}}^{(i)}\right)\right)$$

$${▽}_{{\theta }_j}\left({\theta }^T{\mathbf{x}}^{(i)}\right)=x_j^{(i)}$$

因此，梯度的公式为：

$${▽}_{{\theta }_j}J\left(\theta \right)=-\frac{1}{m}\sum _{i=1}^m\left[\left(y^{(i)}-h_{\theta }\left({\mathbf{x}}^{(i)}\right)\right)\cdot x_j^{(i)}\right]$$

根据梯度下降法，得到如下的更新公式：

$${\theta }_j:={\theta }_j-\alpha {▽}_{{\theta }_j}J\left(\theta \right)$$

2. Softmax回归

2.1. Softmax回归简介

Softmax是Logistic回归在多分类上的推广，即类标签$y$的取值大于等于$2$。假设有$m$个训练样本$\left\{\left({\mathbf{x}}^{(1)},y^{(1)}\right),\left({\mathbf{x}}^{(2)},y^{(2)}\right),\cdots ,\left({\mathbf{x}}^{(m)},y^{(m)}\right)\right\}$，对于Softmax回归，其输入特征为：${\mathbf{x}}^{(i)}\in {\Re }^{n+1}$，类标记为： y ( i ) ∈ { 0 , 1 , ⋯ k } y^{(i)}\in \left \{ 0,1,\cdots k \right \} y(i)∈{0,1,⋯k}。假设函数为对于每一个样本估计其所属的类别的概率$p\left(y=j\mid \mathbf{x}\right)$，具体的假设函数为：

$$h_{\theta }\left({\mathbf{x}}^{(i)}\right)=\left[\begin{array}{c}p\left(y^{(i)}=1\mid {\mathbf{x}}^{(i)};\theta \right)\\ p\left(y^{(i)}=2\mid {\mathbf{x}}^{(i)};\theta \right)\\ ⋮\\ p\left(y^{(i)}=k\mid {\mathbf{x}}^{(i)};\theta \right)\end{array}\right]=\frac{1}{{\sum }_{j=1}^k{e}^{{\theta }_j^T{\mathbf{x}}^{(i)}}}\left[\begin{array}{c}{e}^{{\theta }_1^T{\mathbf{x}}^{(i)}}\\ e^{{\theta }_2^T{\mathbf{x}}^{(i)}}\\ ⋮\\ e^{{\theta }_k^T{\mathbf{x}}^{(i)}}\end{array}\right]$$

其中$\theta $表示的向量，且$\theta _i\in \Re ^{n+1}$。则对于每一个样本估计其所属的类别的概率为：

$$p\left(y^{(i)}=j\mid {\mathbf{x}}^{(i)};\theta \right)=\frac{e^{{\theta }_j^T{\mathbf{x}}^{(i)}}}{{\sum }_{l=1}^k{e}^{{\theta }_l^T{\mathbf{x}}^{(i)}}}$$

2.2. Softmax回归的代价函数

类似于Logistic回归，在Softmax的代价函数中引入指示函数 I { ⋅ } I\left \{ \cdot \right \} I{⋅}，其具体形式为：

I { e x p r e s s i o n } = { 0  if  e x p r e s s i o n = f a l s e 1  if  e x p r e s s i o n = t r u e I\left \{ expression \right \}=\begin{cases} 0 & \text{ if } expression=false \\ 1 & \text{ if } expression=true \end{cases} I{expression}={01​ if expression=false if expression=true​

那么，对于Softmax回归的代价函数为：

$$J\left(\theta \right)=-\frac{1}{m}\left[\sum _{i=1}^m\sum _{j=1}^{k}I\left\{y^{(i)}=j\right\}log\frac{e^{{\theta }_j^T{\mathbf{x}}^{(i)}}}{{\sum }_{l=1}^k{e}^{{\theta }_l^T{\mathbf{x}}^{(i)}}}\right]$$

2.3. Softmax回归的求解

对于上述的代价函数，可以使用梯度下降法对其进行求解，首先对其进行求梯度：

$${▽}_{{\theta }_j}J\left(\theta \right)=-\frac{1}{m}\sum _{i=1}^m\left[{▽}_{{\theta }_j}\sum _{j=1}^{k}I\left\{y^{(i)}=j\right\}log\frac{e^{{\theta }_j^T{\mathbf{x}}^{(i)}}}{{\sum }_{l=1}^k{e}^{{\theta }_l^T{\mathbf{x}}^{(i)}}}\right]$$

已知，对于一个样本只会属于一个类别：

• 若$ y^{(i)}=j$，则$I\left { y^{(i)}=j \right }=1$

$$\begin{array}{c}{▽}_{{\theta }_j}J\left(\theta \right)=-\frac{1}{m}{\sum }_{i=1}^m\left[{▽}_{{\theta }_j}log\frac{e^{{\theta }_j^T{\mathbf{x}}^{(i)}}}{{\sum }_{l=1}^k{e}^{{\theta }_l^T{\mathbf{x}}^{(i)}}}\right]\\ =-\frac{1}{m}{\sum }_{i=1}^m\left[\frac{{\sum }_{l=1}^k{e}^{{\theta }_l^T{\mathbf{x}}^{(i)}}}{e^{{\theta }_j^T{\mathbf{x}}^{(i)}}}\cdot \frac{e^{{\theta }_j^T{\mathbf{x}}^{(i)}}\cdot {\mathbf{x}}^{(i)}\cdot {\sum }_{l=1}^k{e}^{{\theta }_l^T{\mathbf{x}}^{(i)}}-e^{{\theta }_j^T{\mathbf{x}}^{(i)}}\cdot {\mathbf{x}}^{(i)}\cdot e^{{\theta }_j^T{\mathbf{x}}^{(i)}}}{{\left({\sum }_{l=1}^k{e}^{{\theta }_l^T{\mathbf{x}}^{(i)}}\right)}^2}\right]\\ =-\frac{1}{m}{\sum }_{i=1}^m\left[\frac{{\sum }_{l=1}^k{e}^{{\theta }_l^T{\mathbf{x}}^{(i)}}-e^{{\theta }_j^T{\mathbf{x}}^{(i)}}}{{\sum }_{l=1}^k{e}^{{\theta }_l^T{\mathbf{x}}^{(i)}}}\cdot {\mathbf{x}}^{(i)}\right]\end{array}$$

• 若$ y^{(i)}\neq j$，假设$y^{(i)}\neq {j}‘$，则$I\left { y^{(i)}=j \right }=0$，$I\left { y^{(i)}={j}’ \right }=1$

$$\begin{array}{c}{▽}_{{\theta }_j}J\left(\theta \right)=-\frac{1}{m}{\sum }_{i=1}^m\left[{▽}_{{\theta }_j}log\frac{e^{{\theta }_{j^{\prime }}^T{\mathbf{x}}^{(i)}}}{{\sum }_{l=1}^k{e}^{{\theta }_l^T{\mathbf{x}}^{(i)}}}\right]\\ =-\frac{1}{m}{\sum }_{i=1}^m\left[\frac{{\sum }_{l=1}^k{e}^{{\theta }_l^T{\mathbf{x}}^{(i)}}}{e^{{\theta }_{j^{\prime }}^T{\mathbf{x}}^{(i)}}}\cdot \frac{-e^{{\theta }_{j^{\prime }}^T{\mathbf{x}}^{(i)}}\cdot {\mathbf{x}}^{(i)}\cdot e^{{\theta }_j^T{\mathbf{x}}^{(i)}}}{{\left({\sum }_{l=1}^k{e}^{{\theta }_l^T{\mathbf{x}}^{(i)}}\right)}^2}\right]\\ =-\frac{1}{m}{\sum }_{i=1}^m\left[-\frac{e^{{\theta }_j^T{\mathbf{x}}^{(i)}}}{{\sum }_{l=1}^k{e}^{{\theta }_l^T{\mathbf{x}}^{(i)}}}\cdot {\mathbf{x}}^{(i)}\right]\end{array}$$

最终的结果为：

$$-\frac{1}{m}\sum _{i=1}^m\left[{\mathbf{x}}^{(i)}\left(I\left\{y^{(i)}=j\right\}-p\left(y^{(i)}=j\mid {\mathbf{x}}^{(i)};\theta \right)\right)\right]$$

注意，此处的${\theta }_j$表示的是一个向量。通过梯度下降法的公式可以更新：

$${\theta }_j:={\theta }_j-\alpha {▽}_{{\theta }_j}J\left(\theta \right)$$

2.4. Softmax回归中的参数特点

在Softmax回归中存在着参数冗余的问题。简单来讲就是参数中有些参数是没有任何用的，为了证明这点，假设从参数向量${\theta }_j$中减去向量$\psi $，假设函数为：

$$\begin{array}{c}p\left(y^{(i)}=j\mid {\mathbf{x}}^{(i)};\theta \right)=\frac{e^{({\theta }_j-\psi {)}^T{\mathbf{x}}^{(i)}}}{{\sum }_{l=1}^k{e}^{({\theta }_l-\psi {)}^T{\mathbf{x}}^{(i)}}}\\ =\frac{e^{{\theta }_j^T{\mathbf{x}}^{(i)}}\cdot e^{-{\psi }^T{\mathbf{x}}^{(i)}}}{{\sum }_{l=1}^k{e}^{{\theta }_l^T{\mathbf{x}}^{(i)}}\cdot e^{-{\psi }^T{\mathbf{x}}^{(i)}}}\\ =\frac{e^{{\theta }_j^T{\mathbf{x}}^{(i)}}}{{\sum }_{l=1}^k{e}^{{\theta }_l^T{\mathbf{x}}^{(i)}}}\end{array}$$

从上面可以看出从参数向量${\theta }_j$中减去向量$\psi $对预测结果并没有任何的影响，也就是说在模型中，存在着多组的最优解。

为了是算法能够尽可能简单，保留所有的参数，但是对代价函数加入权重衰减来解决参数冗余的问题，权重衰减即对参数进行正则化。

如对参数进行L2正则约束，L2正则为：

$$\frac{\lambda }{2}\sum _{i=1}^k\sum _{j=0}^n{\theta }_{ij}^2$$

此时，代价函数为：

$$J\left(\theta \right)=-\frac{1}{m}\left[\sum _{i=1}^m\sum _{j=1}^{k}I\left\{y^{(i)}=j\right\}log\frac{e^{{\theta }_j^T{\mathbf{x}}^{(i)}}}{{\sum }_{l=1}^k{e}^{{\theta }_l^T{\mathbf{x}}^{(i)}}}\right]+\frac{\lambda }{2}\sum _{i=1}^k\sum _{j=0}^n{\theta }_{ij}^2$$

其中，$\lambda >0$，此时代价函数是一个严格的凸函数。

对该函数的导数为：

$$▽{\theta }_{j}J\left(\theta \right)=-\frac{1}{m}\sum _{i=1}^m\left[{\mathbf{x}}^{(i)}\left(I\left\{y^{(i)}=j\right\}-p\left(y^{(i)}=j\mid {\mathbf{x}}^{(i)};\theta \right)\right)\right]+\lambda {\theta }_j$$

2.5. Softmax与Logistic回归的关系

Logistic回归算法是Softmax回归的特征情况，即$k=2$时的情况，当
$k=2$时，Softmax回归为：

$$h_{\theta }\left(x\right)=\frac{1}{e^{{\theta }_1^{T}x}+e^{{\theta }_2^{T}x}}\left[\begin{array}{c}{e}^{{\theta }_1^{T}x}\\ e^{{\theta }_2^{T}x}\end{array}\right]$$

利用Softmax回归参数冗余的特点，令$\psi ={\theta }_1$，从两个向量中都减去这个向量，得到：

$$\begin{array}{c}{h}_{\theta }\left(\mathbf{x}\right)=\frac{1}{e^{({\theta }_1-\psi {)}^T\mathbf{x}}+e^{({\theta }_2-\psi {)}^T\mathbf{x}}}\left[\begin{array}{c}{e}^{({\theta }_1-\psi {)}^T\mathbf{x}}\\ e^{({\theta }_2-\psi {)}^T\mathbf{x}}\end{array}\right]\\ =\left[\begin{array}{c}\frac{1}{1+e^{({\theta }_2-{\theta }_1{)}^T\mathbf{x}}}\\ \frac{e^{({\theta }_2-{\theta }_1{)}^T\mathbf{x}}}{1+e^{({\theta }_2-{\theta }_1{)}^T\mathbf{x}}}\end{array}\right]\\ =\left[\begin{array}{c}\frac{1}{1+e^{({\theta }_2-{\theta }_1{)}^T\mathbf{x}}}\\ 1-\frac{1}{1+e^{({\theta }_2-{\theta }_1{)}^T\mathbf{x}}}\end{array}\right]\end{array}$$

上述的表达形式与Logistic回归是一致的。

2.6. 多分类算法和二分类算法的选择

有人会觉得对于一个多分类问题，可以使用多个二分类来完成，对于多分类问题是直接选择多分类的分类器还是选择多个二分类的分类器进行叠加，在UFLDL中，作者给出了这样的解释：取决于类别之间是否互斥。

对于一个多分类的问题，是直接选择多分类器直接计算还是选择多个二分类器进行计算取决于问题中类别之间是否互斥。

• 是互斥的 --> Softmax回归
• 不是互斥的 --> 多个独立的Logistic回归

对于Softmax回归更多内容，包括实验可见博客简单易学的机器学习算法——Softmax Regression

参考文献

[1] 英文版：UFLDL Tutorial

[2] 中文版：UFLDL教程

[3] 《Python机器学习算法》第2章 Softmax Regression