机器学习基础——SVM支持向量机的学习和实战
·
一、SVM 支持向量机
SVM 的核心思想是在特征空间中寻找一个最优超平面,将不同类别的样本分开,并且保证分类间隔最大。对于线性不可分的数据,通过核函数将数据映射到高维空间,使其变得线性可分。
首先要介绍的就是SVM相关机器原理以及数学相关公式推导等等。
二、SVM 核心运行逻辑与数学推导
2.1 SVM 的核心思想与运行逻辑
支持向量机(Support Vector Machine, SVM)是经典的监督学习分类算法,核心目标可以用一句话概括:
在特征空间中寻找一个最优分类超平面,使得不同类别的样本被分开,并且样本到超平面的分类间隔最大。
它的运行逻辑可以拆解为三层:
- 线性可分场景:找一个超平面把两类样本完全分开,并且让离超平面最近的样本(支持向量)到平面的距离最大,即硬间隔最大化。
- 线性不可分场景:允许少量样本被误分类,通过惩罚系数平衡 “间隔大小” 和 “误分类数量”,即软间隔最大化。
- 非线性场景:通过核函数把低维数据映射到高维空间,让数据在高维空间变得线性可分,再用线性 SVM 的方法求解,即核技巧。
最终训练完成后,分类决策只由少数 “支持向量” 决定,大部分样本不影响模型,这也是 SVM 名字的由来。
后面有很多相关数学知识这里就不过多赘述。
三、下面是实战基于智能寝室分配用SVM算法进行分配处理。
步骤1:环境准备
运行代码前先导入以下库:
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.svm import SVC
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import accuracy_score, classification_report, confusion_matrix
步骤2:准备好环境以及导入库之后我们要对数据集进行训练集和测试集的划分
# 读取逗号分隔的数据集
data = np.loadtxt('datingTestSet2.txt', delimiter=',')
X = data[:, :-1] # 前3列为特征
y = data[:, -1] # 最后1列为标签
# 按7:3划分训练集与测试集,stratify保持类别分布一致
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.3, random_state=42, stratify=y
)
步骤 3:特征标准化
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)
步骤 4:构建参数网格 + 交叉验证搜索
# 定义参数搜索网格,覆盖3种核函数
param_grid = [
# 线性核:仅调整惩罚系数C
{'kernel': ['linear'], 'C': [0.01, 0.1, 1, 10, 100]},
# RBF高斯核:调整惩罚系数C与带宽gamma
{'kernel': ['rbf'],
'C': [0.01, 0.1, 1, 10, 100, 1000],
'gamma': [0.0001, 0.001, 0.01, 0.1, 1, 10]},
# 多项式核:调整惩罚系数C、阶数degree
{'kernel': ['poly'],
'C': [0.1, 1, 10],
'degree': [2, 3, 4],
'gamma': ['scale']}
]
# 初始化基础SVM模型
svm_base = SVC(random_state=42)
# 构建网格搜索对象,5折交叉验证
grid_search = GridSearchCV(
estimator=svm_base,
param_grid=param_grid,
cv=5,
scoring='accuracy',
n_jobs=-1 # 调用全部CPU核心加速
)
# 在训练集上执行搜索
grid_search.fit(X_train_scaled, y_train)
# 输出最优结果
print("最佳超参数组合:", grid_search.best_params_)
print("交叉验证最佳准确率:{:.2f}%".format(grid_search.best_score_ * 100))
步骤 5:测试集评估(形成报告)
# 取出最优模型
best_svm = grid_search.best_estimator_
# 在测试集上预测
y_pred = best_svm.predict(X_test_scaled)
test_acc = accuracy_score(y_test, y_pred)
print("测试集准确率:{:.2f}%".format(test_acc * 100))
print("\n分类详细报告:")
print(classification_report(y_test, y_pred))
运行结果与分析
可以看到,RBF 高斯核在本数据集上表现最优,交叉验证与测试集准确率均超过 95%,模型泛化能力良好。
总结与扩展
本文完整实现了基于 SVM 的约会偏好分类任务,核心流程可以总结为四步:
- 数据加载与划分:按 7:3 划分训练集与测试集,保证类别分布一致
- 特征标准化:消除特征尺度差异,保障 SVM 距离计算的合理性
- 网格搜索 + 5 折交叉验证:自动遍历多组超参数,选出泛化能力最优的模型
- 测试集评估:通过准确率、混淆矩阵、分类报告全面评估模型效果
拓展方向
- 可以尝试使用随机搜索(RandomizedSearchCV)替代网格搜索,在参数空间较大时效率更高
- 可以与 KNN、逻辑回归、决策树等其他算法做横向对比,分析不同算法的优劣
更多推荐


所有评论(0)