核函数简介

根据模式识别理论，低维空间线性不可分的模式通过非线性映射到高维特征空间则可能实现线性可分，但是如果直接采用这种技术在高维空间进行分类或回归，则存在确定非线性映射函数的形式和参数、特征空间维数等问题，而最大的障碍则是在高维特征空间运算时存在的“维数灾难”，采用核函数技术可以有效地解决这样问题。

 

1.直接非线性映射

线性回归：

 

我们称该对象有n个属性(attribute)，可以将该属性直接作为特征(feature)来使用，也可以将该属性做出映射，例如映射为feature：

 

而之后在每一个需要使用x的地方以来替代。

 

2.在含有点积的计算过程中使用核函数

例如在svm分类器中,推导出(只举例，不详述推导过程)：

 

应此分类函数为： 

 

 这里的形式的有趣之处在于，对于新点 x的预测，只需要计算它与训练数据点的内积即可，这就是所谓 Supporting Vector ，所有非Supporting Vector 所对应的系数都是等于零的，因此对于新点的内积计算实际上只要针对少量的“支持向量”，非支持向量的训练数据对超平面没有影响。

原始特征内积为：，依据(1)中的映射，得到映射后的特征内积为：

 

然而这种计算方式是非常低效的。

定义:

 

但是该核函数只能在选择该映射函数时才能够等价于映射后特征的内积。

由于计算的是内积：

 

所以向量之间夹角越小，核函数值越大。

    在上述的例子中，通过推导出k(x,z)与Φ(x)的关系来证明该核函数是有效的。那么给定任意一个核函数，如何判断它的有效性呢，也就是说，能否找到一个Φ，使得对于所有的x和z，都满足？

3.核函数的有效性判定

必要条件

假设有n个训练样本，每个样本对应的特征向量为：

 

计算任意两个样本的核函数值为：

 

这样可以得到一个n*n的核函数矩阵，该核函数矩阵是一个对称矩阵。

假设核函数是有效的，也就是说满足条件：

 

那么对于任意向量a：

 

所以核矩阵为半正定矩阵是该核函数有效的必要条件。

 

充分条件

Mercer定理表明为了证明K是有效的核函数，那么我们不用去寻找Φ，而只需要在训练集上求出各个Kij，然后判断矩阵K是否是半正定（使用左上角主子式大于等于零等方法）即可。

所以核矩阵为半正定矩阵是该核函数有效的充分必要条件。

 

4.常见核函数

线性核：

多项式核：

 

 

径向基核函数：