文章目录主要思想升维核函数核函数的作用常见的核函数主要思想定理：对于线性不可分的点，一定可以有一个维度使其线性可分。基于此定理，我们可以使用支持向量机解决线性不可分的数据，即把数据集映射到一个高纬度，之后再进行线性分类。升维假设原先的样本点是 x⃗i\vec x_ixi​，用 ϕ(x⃗i)\phi(\vec x_i)ϕ(xi​) 表示映射到新的特征空间后的新样本点。那么分割超平面可以表示为f(x⃗

在学习人工智能时的随手记

文章目录一、主要思想：二、找最大间隔：2.1 距离：2.2 间隔：2.2.1 优化目标函数2.2.2 拉格朗日乘子法2.2.3 拉格朗日函数的对偶性凸优化问题KKTKKTKKT 条件一、主要思想：支持向量机（SVM）的基本模型线性支持支持向量机是定义在特征空间上的间隔最大的线性分类器，这使它有别于感知机。适用于高维小样本，且线性可分的数据。二、找最大间隔：2.1 距离：距离是一种映射关系，满足：{

文章目录主要思想引入 Hinge 函数拉格朗日乘子法主要思想上篇文章提到了线性可分支持向量机，顾名思义，这个算法可以解决线性可分的数据，但在实际情况下几乎不存在完全线性可分的数据，为解决这个问题，需要引入“软间隔”这个概念，意思是允许一些点不满足约束条件 yi(w⃗⋅x⃗j+b)≥1y_i(\vec w\cdot\vec x_j+b)\ge1yi​(w⋅xj​+b)≥1引入 Hinge 函数使用

文章目录概述选择变量的启发式方法选择第一个变量选择第二个变量目标函数的优化无约束求极值加入约束更新阈值 b概述SMOSMOSMO 是由 PlattPlattPlatt 在 1998 年提出的、针对软间隔最大化 SVMSVMSVM 对偶问题求解的一个算法，其基本思想很简单：如果所有变量的解都满足此优化问题的 KKT 条件，则这个优化问题的解就得到了；否则在每一步优化中，挑选出诸多参数 αk&nbsp

概述Principal Component Analysis即主成分分析的主要思想是将 n 维特征映射到 k 维上，这 k 维是全新的正交特征也被称为主成分，是在原有 n 维特征的基础上重新构造出来的 k 维特征。PCA 的工作就是从原始的空间中顺序地找一组相互正交的坐标轴，其中，第一个新坐标轴选择是原始数据中方差最大的方向，第二个新坐标轴选取是与第一个坐标轴正交的平面中使得方差最大的，第三个轴是

文章目录主要思想升维核函数核函数的作用常见的核函数主要思想定理：对于线性不可分的点，一定可以有一个维度使其线性可分。基于此定理，我们可以使用支持向量机解决线性不可分的数据，即把数据集映射到一个高纬度，之后再进行线性分类。升维假设原先的样本点是 x⃗i\vec x_ixi​，用 ϕ(x⃗i)\phi(\vec x_i)ϕ(xi​) 表示映射到新的特征空间后的新样本点。那么分割超平面可以表示为f(x⃗

文章目录主要思想引入 Hinge 函数拉格朗日乘子法主要思想上篇文章提到了线性可分支持向量机，顾名思义，这个算法可以解决线性可分的数据，但在实际情况下几乎不存在完全线性可分的数据，为解决这个问题，需要引入“软间隔”这个概念，意思是允许一些点不满足约束条件 yi(w⃗⋅x⃗j+b)≥1y_i(\vec w\cdot\vec x_j+b)\ge1yi​(w⋅xj​+b)≥1引入 Hinge 函数使用

文章目录一、主要思想：二、找最大间隔：2.1 距离：2.2 间隔：2.2.1 优化目标函数2.2.2 拉格朗日乘子法2.2.3 拉格朗日函数的对偶性凸优化问题KKTKKTKKT 条件一、主要思想：支持向量机（SVM）的基本模型线性支持支持向量机是定义在特征空间上的间隔最大的线性分类器，这使它有别于感知机。适用于高维小样本，且线性可分的数据。二、找最大间隔：2.1 距离：距离是一种映射关系，满足：{