模式识别之特征评估

模式识别之特征评估本文内容学习自《模式识别与智能计算——MATLAB技术实现》对原特征空间进行优化后，就要对优化的结果进行评价，通过反复选择不同的特征组合，采用定量分析比较的方法，判断所得到的特征维数，以及所使用的特征是否对分类最有利，这种以定量检验分类性能的准则称为类别可分离性判据，用来检验不同的特征祝贺对分类性能好会的影响。对待特征评估的方法dating分为两类：- 以计算样品在特

我要天天向上

3544人浏览 · 2016-04-25 22:50:41

我要天天向上 · 2016-04-25 22:50:41 发布

模式识别之特征评估

本文内容学习自《模式识别与智能计算——MATLAB技术实现》

对原特征空间进行优化后，就要对优化的结果进行评价，通过反复选择不同的特征组合，采用定量分析比较的方法，判断所得到的特征维数，以及所使用的特征是否对分类最有利，这种以定量检验分类性能的准则称为类别可分离性判据，用来检验不同的特征祝贺对分类性能好会的影响。

对待特征评估的方法dating分为两类：
- 以计算样品在特征空间的离散程度为基础的准则，称为基于距离的可分性判据
- 基于概率密度分布的判据

基于距离的可分性判据：
给定一组表示联合分布点的训练集，假定每一类的模式向量在观察空间中占据不同的区域是合理的，类别模式间距离或平均距离则是模式空间中类别可分离性度量。基于距离的可分性判据的出发点：各类样本间的距离越大,类内散度越小，则类别的可分性越好。

在一个特征候选集 X = $[x_1 , x_2,x_3, ...,x_n ]$ 所定义的n为特征空间中，用 $d(X_{ik} , X_{jl} )$ 表示第i类中第k个样品和第j类中第l个样品间距离的的度量值，距离度量 $d(X_{ik} , X_{jl} )$ 可采用欧几里得距离计算：

d (X i k, X j l) = [\sum m = 1 D (x i j, m - x j l, m) 2] 1 / 2 (i, j = 1, 2, . . ., M; k = 1, 2, . . ., N i; l = 1, 2, . . ., N j)

$d(X_{ik} , X_{jl} ) = [ \sum_{m=1}^D (x_{ij,m} - x_{jl,m})^2]^{1/2} (i,j =1,2,...,M;k = 1,2,...,N_i;l = 1,2,...,N_j)$

类间的平均距离可采用下式计算：

J = 1 / 2 \sum i = 1 M \sum j = 1 M [P (w i) P (w j) \cdot 1 / N i N j \sum k = 1 N i \sum l = 1 N j d (X i k, X j l)]

$J = {1/2} \sum_{i=1}^M \sum_{j=1}^M [P(w_i)P(w_j)· 1/N_iN_j\sum_{k=1}^N_i \sum_{l=1}^N_jd(X_{ik} , X_{jl} )]$

$1/N_iN_j\sum_{k=1}^N_i \sum_{l=1}^N_jd(X_{ik} , X_{jl} )$ 表示第i类到第j类之间的距离的度量值， $P(w_i)P(w_j)$ 表示第i类与第j类发生的先验概率。
虽然式子看起来复杂，但是理解起来还是比较简单的。

总体散布矩阵

第i类均值向量

$X (w i) ¯ ¯ ¯ ¯ ¯ ¯ ¯ ¯ = 1 / N i \sum X \in w i X$ $\overline{X^{(w_i)}} = 1/N_i\sum_{X\in{w_i}} X$
样本集总体均值向量

$X ¯ ¯ ¯ = 1 / N \sum i = 1 N = 1 / N \sum i = 1 M P (w i) X (w i) ¯ ¯ ¯ ¯ ¯ ¯ ¯ ¯$ $\overline{X} = 1/N\sum_{i=1}^N = 1/N\sum_{i=1}^M P(w_i)\overline{X^{(w_i)}}$
第i类协方差

$\sum i = 1 / (N i - 1) \sum X \in w i (X - X (w i) ¯ ¯ ¯ ¯ ¯ ¯ ¯ ¯) (X - X (w i) ¯ ¯ ¯ ¯ ¯ ¯ ¯ ¯) T$ $\sum_i =1/(N_i -1)\sum_{X\in{w_i}}(X-\overline{X^{(w_i)}})(X-\overline{X^{(w_i)}})^T$
样本总体协方差

$\sum = 1 / (N - 1) \sum (X - X ¯ ¯ ¯) (X - X ¯ ¯ ¯) T$ $\sum =1/(N -1)\sum (X-\overline{X})(X-\overline{X})^T$
第i类类内散布矩阵

$S i = E (X - X (w i) ¯ ¯ ¯ ¯ ¯ ¯ ¯ ¯) (X - X (w i) ¯ ¯ ¯ ¯ ¯ ¯ ¯ ¯) T = \sum i$ $S_i = E{(X-\overline{X^{(w_i)}})(X-\overline{X^{(w_i)}})^T} = \sum_i$
总体类内散布矩阵

$S W = \sum i = 1 M P (w i) S i = \sum i = 1 M P (w i) E (X - X (w i) ¯ ¯ ¯ ¯ ¯ ¯ ¯ ¯) (X - X (w i) ¯ ¯ ¯ ¯ ¯ ¯ ¯ ¯) T = \sum i = \sum i = 1 M P (w i) \sum i$ $S_W = \sum_{i=1}^MP(w_i)S_i =\sum_{i=1}^MP(w_i)E{(X-\overline{X^{(w_i)}})(X-\overline{X^{(w_i)}})^T} = \sum_i = \sum_{i=1}^MP(w_i)\sum_i$
总体类间散布矩阵

$S B = \sum i = 1 M P (w i) (X (w i) ¯ ¯ ¯ ¯ ¯ ¯ ¯ ¯ - X ¯ ¯ ¯) (X (w i) ¯ ¯ ¯ ¯ ¯ ¯ ¯ ¯ - X ¯ ¯ ¯) T$ $S_B = \sum_{i=1}^MP(w_i)(\overline{X^{(w_i)}} - \overline{X})(\overline{X^{(w_i)}}- \overline{X})^T$
特别对于只有两个类的问题，有
$S B 2 = (X (w 1) ¯ ¯ ¯ ¯ ¯ ¯ ¯ ¯ - X (w 2) ¯ ¯ ¯ ¯ ¯ ¯ ¯ ¯) (X (w 1) ¯ ¯ ¯ ¯ ¯ ¯ ¯ ¯ - X (w 2) ¯ ¯ ¯ ¯ ¯ ¯ ¯ ¯) T$ $S_{B2} =(\overline{X^{(w_1)}} - \overline{X^{(w_2)}})(\overline{X^{(w_1)}}- \overline{X^{(w_2)}})^T$
总体散布矩阵

$S T = E (X - X ¯ ¯ ¯) (X - X ¯ ¯ ¯) T = \sum$ $S_T = E{(X-\overline{X})(X-\overline{X})^T} = \sum$
存在关系
$S T = S W + S B$ $S_T = S_W +S_B$

类内散布矩阵表征各样本点围绕它的均值的散步情况，类间散布均值表征类间各类间的距离分布情况，它们依赖于样本类别属性和划分；而总体散布矩阵与样本划分及类别属性无关。

构造准则

以类内散布矩阵 $S_W$ ，类间散布矩阵 $S_B$ 和总体散布矩阵 $S_T$ 为基础的一些准则：

均方误差最小准则，即迹准则：

$J = t r S w = \sum i = 1 M P (w i) t r S i$ $J= trS_w = \sum_{i=1}^M P(w_i)trS_i$
或
$J = d e t (S w)$ $J= det(S_w)$
det表示求其行列式
类间距离最大准则

$J = t r (S B)$ $J= tr(S_B)$
或
$J = d e t (S B)$ $J = det(S_B)$
行列式准则

$J = | S W | = \sum i = 1 M P (w i) | S i |$ $J= |S_W| = \sum_{i=1}^M P(w_i)|S_i|$