SVM

科目： 白板推导机器学习

Support Vector Machine

  在深度学习流行之前，支持向量机是非常流行的算法。
 本讲主要从理论推导方面介绍，怎么从一步一步的演化到最后的优化问题。
 从核心概念上来看，有一句关于支持向量机的口头禅：

   – SVM 有三宝，间隔、对偶、核技巧.

注意： 其中的“核技巧”和 SVM 之间并没有固定的联系。实际上，在 SVM 出现之前就已经有了核技巧、核函数了。只不过核技巧和让 SVM 从普通的欧式空间（特征空间）映射到高维的空间，从而可以实现一定的非线性分类。

从类别上 SVM 可以分类为：

• Hard-Margin SVM
• Soft-Margin SVM
• Kernel SVM

Hard-Margin SVM

 先从几何角度来看 SVM：
首先， SVM 起初是为了解决二分类问题而引出的。

 分类模型：
$$f(w)=sign(w^{T}x+b)$$
所以，SVM 本质上是一个判别模型，和概率没有关系。

最大间隔分类器：
$$\{\begin{array}{c}max\ast margin(w,b)\\ s.t.y_i=+1,if:w^T{x}_i+b>0,y_i=-1,if:w^T{x}_i+b<0.\end{array}$$

简化成：
$$\{\begin{array}{c}max\ast margin(w,b)\\ s.t.:y_i(w^T{x}_i+b)>0,for:\forall i=1,...,N.\end{array}$$

$$margin(w,b)=mi{n}_{w,b,x_i,i=1,...,N}distance(w,b,x_i),$$
$$=mi{n}_{w,b,x_i}\frac{1}{||w||}|w^T{x}_i+b|.$$

基于上式，由于 $y_i(w^T{x}_i+b)>0$,同时 $y_i$ 只能取值：+1/-1，所以：

$$\{\begin{array}{c}ma{x}_{w,b}\ast mi{n}_{x_i}\frac{1}{||w||}{y}_i(w^T{x}_i+b)\\ s.t.y_i(w^T{x}_i+b)>0.\end{array}$$

对于 $s.t.y_i(w^T{x}_i+b)>0$，可以等价于：$\exists r>0,s.t.mi{n}_{x_i,y_i,i=1,...N}{y}_i(w^T{x}_i+b)=r.$

由于对直线方程的系数进行同比例缩放，并不影响直线方程的结果。所以，上式中的 r ，可以取值为 1.

即：
$$\{\begin{array}{c}ma{x}_{w,b}\frac{1}{||w||},\\ s.t.mi{n}_{y_i(w^T{x}_i+b)=1},or:s.t.y_i(w^T{x}_i+b)\ge 1.\end{array}$$

通常情况下，优化问题习惯上是求解最小化问题，上式可以等价于：

$$\{\begin{array}{c}mi{n}_{w,b}\frac{1}{2}{w}^{T}w\\ s.t.y_i(w^T{x}_i+b)\ge 1,for\forall i=1,...,N.\end{array}$$

D a t a = { ( x i , y i ) } i = 1 N , x i ∈ R p , y i ∈ { + 1 , − 1 } . Data = \{(x_{i}, y_{i})\}_{i=1}^{N}, x_{i} \in R^{p}, y_{i} \in \{+1, -1\}. Data={(xi​,yi​)}i=1N​,xi​∈Rp,yi​∈{+1,−1}.

对于（w, b）而言的带约束的原优化问题：

$$\{\begin{array}{c}mi{n}_{w,b}\frac{1}{2}{w}^{T}w,\\ s.t.y_i(w^T{x}_i+b)\ge 1.\end{array}$$

转换成拉格朗日形式:

$$L(w,b,\lambda )=\frac{1}{2}{w}^{T}w+\sum _{i=1}^N{\lambda }_i(1-y_i(w^T{x}_i+b)).$$

其无约束的原优化问题：

$$\{\begin{array}{c}mi{n}_{w,b}\ast ma{x}_{\lambda }L(w,b,\lambda ),\\ s.t.{\lambda }_i\ge 0.\end{array}$$

• 如果 $1-y_i(w^T{x}_i+b)>0,ma{x}_{\lambda }L(w,b,\lambda )=\frac{1}{2}{w}^{T}w+\infty =\infty$,
• 如果 $1-y_i(w^T{x}_i+b)\le 0,ma{x}_{\lambda }L(w,b,\lambda )=\frac{1}{2}{w}^{T}w+0=\frac{1}{2}{w}^{T}w,mi{n}_{w,b}\ast ma{x}_{\lambda }L=mi{n}_{w,b}\frac{1}{2}{w}^{T}w.$

综合上述两式：
$$mi{n}_{w,b}\ast ma{x}_{\lambda }L(w,b,\lambda )=mi{n}_{w,b}(\infty ,\frac{1}{2}{w}^{T}w)=mi{n}_{w,b}\frac{1}{2}{w}^{T}w.$$

也即：

  原问题的约束形式 <==>(等价于) 原问题的无约束形式.

原问题的对偶问题：

$$\{\begin{array}{c}ma{x}_{\lambda }\ast mi{n}_{w,b}L(w,b,\lambda ),\\ s.t.{\lambda }_i\ge 0.\end{array}$$

针对 $mi{n}_{w,b}L(w,b,\lambda )$ 进行推导：

令 $\frac{\partial L}{\partial b}=0$ 推导出=> ${\sum }_{i=1}^N{\lambda }_i{y}_i=0$.
将其代入：$L(w,b,\lambda )$:

$$L(w,b,\lambda )=\frac{1}{2}{w}^{T}w+\sum _{i=1}^N{\lambda }_i-\sum _{i=1}^N{\lambda }_i{y}_i(w^T{x}_i+b)=\frac{1}{2}{w}^{T}w+\sum _{i=1}^N{\lambda }_i-\sum _{i=1}^N{\lambda }_i{y}_i{w}^T{x}_i+\sum _{i=1}^N{\lambda }_i{y}_{i}b=\frac{1}{2}{w}^{T}w+\sum _{i=1}^N{\lambda }_i-\sum _{i=1}^N{\lambda }_i{w}^T{x}_i$$

令 $\frac{\partial L}{\partial w}=w-{\sum }_{i=1}^N{\lambda }_i{y}_i{x}_i=0$，推导出：
$$w^{\ast }=\sum _{i=1}^N{\lambda }_i{y}_i{x}_i.$$

$$minL(w,b,\lambda )=\frac{1}{2}(\sum _{i=1}^N{\lambda }_i{y}_i{x}_i{)}^T(\sum _{i=1}^N{\lambda }_i{y}_i{x}_i)-\sum _{i=1}^N{\lambda }_i{y}_i(\sum _{j=1}^N{\lambda }_i{y}_j{x}_j{)}^T{x}_i+\sum _{i=1}^N{\lambda }_i=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j+\sum _{i=1}^N{\lambda }_i.$$

最终，对偶问题有如下形式：
$$\{\begin{array}{c}ma{x}_{\lambda }-\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j+{\sum }_{i=1}^N{\lambda }_i,\\ s.t.{\lambda }_i\ge 0,{\sum }_{i=1}^N{\lambda }_i{y}_i=0.\end{array}$$