给定训练样本,希望学得一个形如的回归模型，使得f(x)与y尽可能接近。对样本（x,y），传统回归模型通常直接基于模型输出f(x)与真实输出之间的差别来计算损失，当且仅当f(x)与y完全相同时，损失才为零。支持向量回归（Support Vector Regression, SVR）与此不同,假设f(x)与y之间最多有的偏差。即仅当f(x)与y之间的差别绝对值大于时才计算损失。这就相当于以f(x)为中

上节介绍了如何推导出支持向量机的基本型，这节我们对基本型进行求解。基本型（也称为“原问题”）为：（公式3.1）我们希望求解上述式子得到大间隔划分超平面所对应的模型其中，w和b是模型参数。注意到 公式3.1 是一个凸二次规划问题。=================================================================补充知识区：凸函数的定义：对区间[a,b]

1.连续值处理由于连续属性的可取值数目不再有限，因此，不能直接根据连续属性的可取值来对结点进行划分。此时，连续属性离散化技术可派上用场。最简单的策略是采用二分法（bi-partition）对连续属性进行处理。给定样本集D和连续属性a，假定a在D上出现了n个不同的取值，将这些值从小到大进行排序，记为{}.基于划分点t可将D分为子集 和 .: 包含那些在属性a上取值不大于t的样本。：包含那些在属性a上

剪枝理论学习请参考如下网址：机器学习算法——决策树4（剪枝处理）_Vicky_xiduoduo的博客-CSDN博客_剪枝 机器学习不管是预剪枝还是后剪枝，都需要对决策树进行“泛化能力”的评估。本节的实例讲解采用留出法评估决策树的泛化能力。故需要预留一部分数据用作“训练集”，一部分用作“验证集/测试集”。将西瓜2.0数据集随机划分成两部分，如下表所示。表1 西瓜数据集2.0划分出的训练集编号色泽根蒂

上节中我们得出了原问题的对偶问题为：公式（4.1）那如何求解公式4.1呢？即解出,求出w和b即可得到原型：（公式4.2）显然，公式4.1是二次规划（QP）问题，可使用二次规划算法进行求解。然而，该问题的规模正比于训练样本数，这会在实际任务中造成很大的开销。为了避免这个障碍，人们利用问题本身的特性，研究出很多高效的算法，其中SMO算法就是一个典型的代表。讲解SMO算法之前，就必须先了解什么是KTT条

SOM（Self-Organizing Map,自组织映射）网络也是一种竞争学习型的无监督神经网络。它能将高维数据映射到低维空间（通常为二维），同时保持输入数据在高维空间的拓扑结构，即将高维数据中相似的样本点映射到网络输出层中的邻近神经元。SOM网络结构为：输入层神经元的数量是由输入向量的维度决定的，一个神经元对应一个特征。SOM网络结构的区别主要在竞争层：可以有1维、2维（最常见）。竞争层也可以

竞争型学习是神经网络中一种常用的无监督学习策略，在使用该策略时，网络的输出神经元相互竞争，每一时刻仅有一个竞争获胜的神经元被激活，其他神经元的状态被抑制，这种机制亦称为“胜者通吃”原则。ART（Adaptive Resonance Theory，自适应谐振理论）网络是竞争型学习的重要代表。该网络由比较层、识别层、识别阈值和重置模块构成。其中，比较层负责接收输入样本，并将其传递给识别层；识别层每个神

本文使用sklearn来实现SVM。首先，导入所需要的包from sklearn.datasets import load_breast_cancerfrom sklearn.svm import SVCfrom sklearn.model_selection import train_test_splitimport numpy as npfrom time import timeimport

为了降低贝叶斯公式中估计后验概率的困难，朴素贝叶斯分类器采用了属性条件独立性假设，但在现实任务中这个假设往往很难成立。于是，人们尝试对属性条件独立性假设进行一定程度的放松，由此产生了一类称为“半朴素贝叶斯分类器”的学习方法。半朴素分类器的基本思想是适当考虑一部分属性间的相互依赖信息，从而既不需进行完全联合概率计算，又不至于彻底忽略了比较强的属性依赖关系。“独依赖估计”（One-Dependent

支持向量机（Support Vector Machines, SVM）是一种基于统计学习理论的机器学习算法，是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器。SVM学习的基本思想是求解能够正确划分训练数据集并且几何间隔最大的超平面。那何为超平面？很多讲解支持向量机的文章及视频一开始就讲超平面及其方程，对于没有基础的人来说很难理解。首先先说明什么是超平面，超平面是一种数学上的概