本系列所有的代码和数据都可以从陈强老师的个人主页上下载：Python数据程序

参考书目：陈强.机器学习及Python应用. 北京：高等教育出版社, 2021.

本系列基本不讲数学原理，只从代码角度去让读者们利用最简洁的Python代码实现机器学习方法。

---

与逻辑回归类似，判别分析是用来做分类的。判别分析也是比较经典的多元统计分析方法。它有点类似于主成分，尽可能的将数据从不同的方向投影开，因此判别分析还具有降维的功能。判别分析有判别函数和系数，根据判别函数的不同，可以分为线性判别和二次判别。最初的判别分析是用来做分类的，后来也推广到可以做多分类，目前好像不能用于回归问题。

判别分析Python案例：

导入sklearn包，本次采用鸢尾花数据集，因为判别分析提出的时候就是采用 的这个数据集验证其有效性的。

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
from sklearn.discriminant_analysis import QuadraticDiscriminantAnalysis
from sklearn.metrics import confusion_matrix
from sklearn.metrics import classification_report
from sklearn.metrics import cohen_kappa_score

iris = load_iris()  #加载数据
dir(iris)    #查看数据里面的东西
iris.feature_names  #查看特征变量x的名称
iris.feature_names = ['sepal_length', 'sepal_width', 'petal_length', 'petal_width']  #重命名
X = pd.DataFrame(iris.data, columns=iris.feature_names)  #变为数据框
print(X)

 可以看到是150个样本，四个特征变量，下面画出相关系数热力图：

X.corr()
sns.heatmap(X.corr(), cmap='Blues', annot=True)

 查看y的取值，只有三种鸢尾花

y = iris.target
y

 开始判别分析！

model = LinearDiscriminantAnalysis()
model.fit(X, y)     #拟合
model.score(X, y)   #计算预测精度

#先验概率
model.priors_
#特征变量分组均值
model.means_
#线性判元对于组间方差的贡献
model.explained_variance_ratio_
#线性判元的估计系数
model.scalings_
#变为数据框展示
lda_loadings = pd.DataFrame(model.scalings_, index=iris.feature_names, columns=['LD1', 'LD2'])
lda_loadings

画出每个样本的线性判别得分

lda_scores = model.fit(X, y).transform(X) #或lda_scores = model.fit_transform(X, y)
lda_scores.shape
lda_scores[:5, :]

LDA_scores = pd.DataFrame(lda_scores, columns=['LD1', 'LD2'])
LDA_scores['Species'] = iris.target
LDA_scores.head()

d = {0: 'setosa', 1: 'versicolor', 2: 'virginica'}
LDA_scores['Species'] = LDA_scores['Species'].map(d) 
LDA_scores.head()

sns.scatterplot(x='LD1', y='LD2', data=LDA_scores, hue='Species')

 

 可以看出LD1这个维度上很好区分不同的鸢尾花品种。

下面只采用两个特征变量，直观的画出线性判别的决策边界

X2 = X.iloc[:, 2:4]
model = LinearDiscriminantAnalysis()
model.fit(X2, y)
model.score(X2, y)

model.explained_variance_ratio_

from mlxtend.plotting import plot_decision_regions

plot_decision_regions(np.array(X2), y, model)
plt.xlabel('petal_length')
plt.ylabel('petal_width')
plt.title('Decision Boundary for LDA')

 

 二次判别分析

X_train, X_test, y_train, y_test =  train_test_split(X, y, test_size=0.3, stratify=y, random_state=123)

model = QuadraticDiscriminantAnalysis()
model.fit(X_train, y_train)
model.score(X_test, y_test)    # Accuracy

prob = model.predict_proba(X_test)
prob[:3]

pred = model.predict(X_test)
pred[:5]

confusion_matrix(y_test, pred)

print(classification_report(y_test, pred))

cohen_kappa_score(y_test, pred)

同样选取两个特征变量进画出其决策边界

X2 = X.iloc[:, 2:4]
model = QuadraticDiscriminantAnalysis()
model.fit(X2, y)
model.score(X2, y)

plot_decision_regions(np.array(X2), y, model)
plt.xlabel('petal_length')
plt.ylabel('petal_width')
plt.title('Decision Boundary for QDA')

 判别分析用于降维

线性判别类似主成分可以降维，但是不同的是线性判别利用了标签y的信息。并且降维后的数据也是原始数据的线性组合，失去了其意义，不好解释。下面将鸢尾花四个特征变为2个特征。

from sklearn.discriminant_analysis import LinearDiscriminantAnalysis as LDA
model=LDA(n_components=2)
model.fit_transform(X,y)