特征选择和机器学习算法两者存在紧密的联系,根据特征选择中子集评价标准和后续学习算法的结合

方式可分为嵌入式(embedded)、过滤式(filter)和封装式(wraper)

1.嵌入式特征选择

在嵌入式特征选择中,特征选择算法本身作为组成部分嵌入到学习算法里,最典型的就是决策树算法,如Quinlan的ID3,

C4.5以及Breiman的CART算法等,决策树算法在树增长过程的每个递归步都必须选择一个特征,将样本划分成较小的子集,

选择特征的一句通常是划分后子节点的纯度,划分后子节点越纯,则说明划分效果越好,可见决策树生成的过程也就是特征选择

的过程

2.过滤式特征选择

早期的特征选择算法大多属于过滤式特征选择,过滤式特征选择的评价标准从数据集本身的内在性质获得,与特定的学习

算法无关,因此具有具有较好的通用性。通常选择和类别相关度大的特征或者特征子集。过滤式特征选择的研究者认为,相关度

较大的特征或者特征自己会在分类器上获得较高的准确率,dash 和 liu把过滤式特征选择的评价标准分为四种,即距离度量,信息度量,关联度量

以及一致性度量

优点:算法的通用性强,省去了分类器的训练步骤,算法复杂性低,因而适用于大规模数据集,可以快速去除大量不相关的特征,

作为特征的预筛选器非常合适的

缺点:由于算法的评价标准独立于特定的学习算法,所选的特征子集在分类准确率方面通常低于wrapper方法


3.封装式特征选择

封装式特征选择即wrapper方法利用学习算法的性能来评价特征自己的优劣,因此,对于一个待评价的特征子集,wrapper方法需要

训练一个分类器,根据分类器的性能对该特征子集进行评价,wrapper方法中用以评价特征的学习算法是多种多样的,例如决策树、

神经网路、贝叶斯分类器、近邻法以及支持向量机等等。huswh提出了一种利用遗传算法作为搜索策略、决策树的分类准确性作为

子集评价标准的wrapper方法,lil等人用遗传算法结合人工神经网络进行特征选择和分类,并取得了较好的实验效果。inza等则利用贝叶斯

网络的性能作为自己评价标准,这些方法都是直接利用分类器的分类性能来评价特征子集的优劣

优点:相对于filter方法,wrapper方法找到的特征子集分类性能通常更好

缺点:wrapper方法选出的特征通用性不强,当改变学习算法时,需要针对该学习算法重新进行特征选择,由于每次对子集的

评价都要进行分类器的训练和测试,所以算法计算复杂度很高,尤其对于大规模数据集来说,算法的执行时间越长


更多推荐