1 概述

  特征降维：
  不仅大大降低模式识别任务的计算复杂度，还可能提升分类的准确度，使我们能够用最小的代价设计出优秀的模式识别系统
  特征降维方法：
  （1）主成分分析PCA
  （2）特征提取
  （3）特征选择

2 主成分分析PCA

  思路： 对样本整体进行的降维操作，最早来源于统计学，希望在统计样本中，找到影响结果的那些最关键的变量
  核心思想： 认为样本集在各个不同的方向上进行投影，其方差是不同的，方差越大的方向，包含的信息量越大，越是整个样本集分布特性的主成分。找到主成分之后如果将原始数据集投影到主成分方向所构成的新的空间中，则可以降低整个样本集的特征维度。
  具体做法： 对原始空间做线性变换，找到主成分方向为基的另一个空间，这个空间维度更低，在新的空间中，留下方差更大的方向，抛弃方差小的方向，要能够实现这种降维的操作，就要求对原始空间进行变换的目标空间各个维度之间没有关联，既变换后的数据集在各个维度上是互不相关的，协方差矩阵为对角阵。（主成分分析的求解，就是找到一组正交积，能够使原空间进行正交变换后数据集保留方差最大的成分）

  求解主成分分析：
  （1）将原始数据集做平移变换，将坐标原点移动到样本集的均值点。使协方差矩阵便于计算。

  （2）经过平移变换后的X’及Y‘’的协方差矩阵为

  （3）求解问题，既求使得Y‘’的协方差矩阵能够对角化的变换阵W，并且映射后各维度是按照方差的大小而排列的。（主成分分析的解是将X’的协方差矩阵的特征根从大到小排列，对应的前d个特征向量构成的变换阵W，即可按照主成分分析的要求得到降维后的样本集变换结果）

3 特征提取

  与主成分分析的关系：
  （1）思路相似，都是希望通过某种线性正交变换，将问题从原始高维特征空间，映射到低维特征空间。
  （2）主成分分析的目标与特征提取的目标不同，主成分分析的目标是找到使整个样本集特征方差最大的方向，而特征提取的目标是找到类别可分性最好的方向。因此在特征提取时一定要给定一个准则函数，当准则函数取得最大值时在同样的降维处理后，类别可分性达到最好，实现最优特征提取结果。
  特征提取：
  通过映射得到一组新的特征


  J2准则举例

4 特征选择

  原理： 是从高维空间中，挑选一组最有效的特征，已达到降低特征空间维数的目的


  （1）特征选择的穷举法

  （2）特征选择的分支定界法

  因此在特征选择时给定一个准则函数，当准则函数取得最大值时，类别可分性达到最好。

5 类别可分性度量标准

  无论是特征选择还是特征提取，其目标都是在降低特征维度的同时保证最好的类别可分性。特征提取或者特征选择方案的优化，其准则函数应该与类别可分性成单调递增的关系
  类别可分性度量：分类正确率是最佳的类别可分性度量标准，但难以计算
  度量类别可分性的准则函数应该满足：
  （1）与分类正确性有单调递增型关系
  （2）当特征独立时，具有可加性
  （3）具有标量的测度特征。
  （4）对特征数量具有单调性，维度越高信息越丰富，分类正确率越高

  常用准则函数：
  （1）基于类内类间距离的度量

  （2）类间的概率距离的度量