基于C++的最大最小聚类算法实现
一、 算法简介1. 简介:最大最小距离法是模式识别中一种基于试探的类聚算法,它以欧式距离为基础,取尽可能远的对象作为聚类中心。因此可以避免K-means法初值选取时可能出现的聚类种子过于临近的情况,它不仅能智能确定初试聚类种子的个数,而且提高了划分初试数据集的效率。 该算法以欧氏距离为基础,首先初始一个样本对象作为第1个聚类中心,再选择一个与第1个聚类中心最远的样本作为
一、 算法简介
1. 简介:
最大最小距离法是模式识别中一种基于试探的类聚算法,它以欧式距离为基础,取尽可能远的对象作为聚类中心。因此可以避免K-means法初值选取时可能出现的聚类种子过于临近的情况,它不仅能智能确定初试聚类种子的个数,而且提高了划分初试数据集的效率。
该算法以欧氏距离为基础,首先初始一个样本对象作为第1个聚类中心,再选择一个与第1个聚类中心最远的样本作为第2个聚类中心,然后确定其他的聚类中心,直到无新的聚类中心产生。最后将样本按最小距离原则归入最近的类。
2. 算法流程
1) 从N个样本集中的任选取一个样本,作为第一个聚类中心z1;
2) 选取距离第一个聚类中心z1最远的样本作为第二个聚类中心z2;
3) 计算其余样本与z1、z2之间的距离,并求出它们中的最小值,即:
4) 若:(θ为选定的比例系数)
则相应的样本xl作为第三个聚类中心z3,转至下一步继续判断是否存在新的聚类中心,否则转至第六步;
5) 假设存在k个聚类中心,计算各样本到各个聚类中心的距离dij,并算出:
若成立,则zk+1=xl,并循环此步骤,继续判断是否有新的聚类中心存在,否则转至第六步;
6) 当判断不再有新的聚类中心存在时,将样本集按最小距离原则分到各类中去,即计算:
二、 算法实现
1. 实验数据—data.txt
l 文件内容
d=2 n=150
5.1 3.5
4.9 3
4.7 3.2
4.6 3.1
…
l 数据说明
第一行为特征维度数量和数据数量,此次试验是150个2维数据。数据来源于IRIS数据集的前两个特征。
还应该手动输入比例系数θ(0-1).
2. 输出数据—result.txt
输出数据输出实验数据聚类后的分类信息,与真实信息对比来分析程序聚类准确率。
l 文件内容:
0
2
0
1
0
…
l 数据说明:
0,1,2依次对应表示Setosa,Versicolour,Virginica三类花。
3. 程序运行截图
l Θ=0.5时:
数据被分为4类,并输出了聚类中心标号
l Θ=0.6时:
图2
数据被分为3类,并输出了聚类中心标号
4. 结果分析:
将输出的result.txt文件导入EXCEL与真实信息对比计算。150个数据中有133个与真实数据的分类信息吻合,两次Θ取值,都只有83个样本正确,正确率只有55.33%
我认为出现该结果的原因是因为样本特征选取不够,IRIS花瓣集前两个特征差异性不大。如图,为前两个特征的散点分布图有较多重合。在我的另一组测试数据中,当样本间距够大时能达到很好的分类效果(但样本数量太少没有采用来作为数据集)。
图3.IRIS数据集
图4.另一组数据集
在这个数据集下表现良好,数据都能完美分开,但数量太少,不作过多讨论
5. C++源码:
#include <iostream>
#include <math.h>
using namespace std;
const int N=150;//给定N个样本
int maxmindistance(float *sample[N],float theta)
{
int center[20];//保存聚类中心
float D[20][N];//保存D点与点之间的距离
float min[N]; //始终保存各点到各个聚类中心最小的距离
int minindex[N];
int clas[N];
float theshold;
float D12=0.0;//第一个聚类和第二个聚类中的距离
float tmp=0;
int index=0;
center[0]=0;//first center第一个聚类选出来了
int i,k=0,j,m;
//计算其他样本到第一个聚类中心(0,0)的距离
//D[0][j]保存第j个点到到第1个聚类中心的距离
for(j=0;j<N;j++)
{
tmp=(sample[0][j]-sample[0][0])*(sample[0][j]-sample[0][0])+(sample[1][j]-sample[1][0])*(sample[1][j]-sample[1][0]);
D[0][j]=(float)sqrt(tmp);
if(D[0][j]>D12)
{
D12=D[0][j];
index=j;
} //求出距离第一个聚类中心最远的点
}
center[1]=index;//second center第二个聚类中心选出来了 并保存
k=1;
index=0;
theshold=D12;//两个聚类中心的距离
//最新的两聚类中心距离大于θ*D12则继续选取聚类中心
while(theshold>theta*D12)
{
for(j=0;j<N;j++)
{
tmp=(sample[0][j]-sample[0][center[k]])*(sample[0][j]-sample[0][center[k]])+
(sample[1][j]-sample[1][center[k]])*(sample[1][j]-sample[1][center[k]]);
D[k][j]=(float)sqrt(tmp);
}
for(j=0;j<N;j++)
{
float tmp=D12; //8.944
for(m=0;m<=k;m++)
if (D[m][j]<tmp)
{
tmp=D[m][j];
index=m;
}
min[j]=tmp;
minindex[j]=index;
/*D[N][j]保存的是j点到第n-1个聚类中心的距离,
从其中找出最小的并保存
min[]始终保存各点到各个聚类中心最小的距离
*/
}//min-operate
float max=0;index=0;
for(j=0;j<N;j++)
if(min[j]>max)
{
max=min[j]; //找到最大的
index=j; //并找到相应的点的下标
}
if (max>theta*D12)
{
k++;
center[k]=index;
}// add a center
theshold=max;// prepare to loop next time
} //求出所有中心,final array min[] is still useful
for(j=0;j<N;j++)
clas[j]=minindex[j];
//cout<<"原始数据信息:"<<endl;
//for(i=0;i<2;i++) //输出原来的坐标
//{
// cout<<"维度"<<i+1<<" ";
// for(j=0;j<N;j++)
// cout<<sample[i][j]<<" ";
// cout<<"\n";
//}
cout<<"聚类中心数:"<<"k="<<k+1<<" ";
cout<<"聚类中心点依次是:";
for(m=0;m<k;m++)
cout<<center[m]+1<<"--";
cout<<center[k]+1;
cout<<"\n";
FILE *fp2;
if((fp2=fopen("result.txt","w"))==NULL) {
printf("File cannot be opened/n");
exit(0);
}
cout<<"分类信息如下:"<<endl;
for(j=0;j<N;j++)
{
cout<<"("<<sample[0][j]<<","<<sample[1][j]<<")"<<"-------";
cout<<clas[j]<<endl;
fprintf(fp2,"%d \n",clas[j]);//写入文件
}
cout<<"\n";
return k;
}
//动态创建二维数组
float **array(int m,int n)
{
int i;
float **p;
p=(float **)malloc(m*sizeof(float *));
p[0]=(float *)malloc(m*n*sizeof(float));
for(i=1;i<m;i++) p[i]=p[i-1]+n;
return p;
}
//d代表数据维度 n数据数目
float **loadData()//从文件中读取数据
{
int i,j;
float **arraydata;
float **arraydata2;
FILE *fp;
int d,n;
if((fp=fopen("data.txt","r"))==NULL) fprintf(stderr,"cannot open data.txt!\n");
if(fscanf(fp,"d=%d n=%d\n",&d,&n)!=2) fprintf(stderr,"load error!\n");
arraydata=array(d,n); //生成数据数组
arraydata2=array(n,d);
for(i=0;i<n;i++)
for(j=0;j<d;j++)
{
fscanf(fp,"%f",&arraydata2[i][j]); //读取数据点
arraydata[j][i]=arraydata2[i][j];
}
return arraydata;
}
int main()
{
/*float s[2][N]={{0,3,2,1,5,4,6,5,6,7}, //特征1
{0,8,2,1,3,8,3,4,4,5}}; //特征2*/
float **data;
data=loadData();
float theta;
cin>>theta;
maxmindistance(data,theta);
}
更多推荐
所有评论(0)