1.CRP简介

文章全称为"A collaborative representation based projections method for feature extraction"（点击可以获取原文地址）,这个学校或者组织可以使用。在基于图形嵌入理论中，我们往往使用k近邻去选择最近的邻居并且计算边缘权重。但是在高维的数据中手动选择最近邻居是困难和不稳定的。因此自动构建图形显得非常重要。这篇文章给出了类似于L1图的称之为L2图，原理为使用全部的样本用来计算边缘权重，以避免手动选择最近邻居。然后还提出了一种基于L2图的特征提取方法，称之为CRP（协作保留投影），利用L2范数图来表征局部紧凑性信息。CRP最大化总分理性和局部紧凑性来寻找最佳投影矩阵。L2是使用全部样本协作表示单个样本而不是最近邻来构建的。给定样本X={x1,x2,...,xn}总训练样本，其中xi(i=1,2,...,n)是由第i个训练样本拉伸的m维向量。降维的目标是找到一个特征矩阵P，使得Y=PTX，Y={y1,y2,...,yn}，其中yi为第i个样本xi降维之后的数据集维数为m'（m'<<m），通过降维目标函数，一般都是为了最小化重建误差来实现降维的效果最好。

（1）

这里的wi是表示的X中除去xi之后每个xj对xi的重建系数。后面的加项为机器学习中正则化参数，防止出现退化解。当q为1的时候为L1图，为2的时候为L2图。CRP的目标是保持稀疏重建关系（即最小化局部紧密型）和最大化总可分性信息。根据L2图，得到定义局部紧密型的

（2）

通过推导SL=X(I-W-WT+WWT)XT是局部散步矩阵。

总可分性可以定义为

（3）

是数据的总可分性矩阵，对于分类，很自然的同时最大化总的可分性并且最小化局部紧密型就像FDA一样。因此CRP最后的目标函数是

（4）

投影矩阵P是对应于最大特征值的广义特征向量STP=λSLP。

2.CRP算法

1.如果原始数据集维度比较高，比如人脸数据集，可以先使用pca进行预降维，并且标记PCA的转化矩阵为Ppca。

2.通过公式（1）得到权重系数矩阵wi。

3.通过公式（3）得到局部散射矩阵SL和公式（4）得到总的散射矩阵ST。然后计算特征向量P=[p1,p2,...,pd]是的前d个最大非零特征值对应的特征向量。

降维结束。