朴素贝叶斯公式为：在贝叶斯中，P(x)是先验概率，一般很容易求得。所以需要重点求解贝叶斯概率公式中的分子。但是，在现实中，要求解也会有各种各样的问题。我们可能面临的特征非常多，这需要极多的计算资源。也有可能出现某一个概率为0的情况，分子就会为0，这种情况下的概率会导致整个概率的估计为0。求解连续型变量的概率，需要引入各种概率论中的数字分布，使用各种分布下的概率密度曲线来估计一个概率。其中涉及的数学

本节讲解根据信息增益如何选择划分属性与算法实现，以西瓜数据集为例进行讲解。1. 理论求信息增益（理论参考：机器学习算法——决策树1（ID3决策树算法）_Vicky_xiduoduo的博客-CSDN博客）。表1 西瓜数据集2.0编号色泽根蒂敲声纹理脐部触感好瓜1青绿蜷缩浊响清晰凹陷硬滑是2乌黑蜷缩沉闷清晰凹陷硬滑是.

贝叶斯决策论是概率框架下实施决策的基本方法。对于分类任务来说，在所有相关概率都已知的理想情形下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。以多分类任务为例解释其基本原理。1. 先验概率（Prior probability）先验概率是指根据以往经验和分析得到的概率，反映了我们在实际观察之前对某种状态的预期。先验概率记作：我们能否可以基于先验做出决策？（决策规则是基于输入所采取的

EasyEnsemble和BalanceCascade讲解。

ID3算法优缺点：① 不能对连续数据进行处理，只能通过连续数据离散化进行处理；② 采用信息增益容易偏向取值较多的特征，准确率不如信息增益率；③ 缺失值不好处理。④ 没有采用剪枝，决策树的结构可能过于复杂，容易出现过拟合。C4.5算法优缺点：① 产生的规则容易理解，准确率高，实现简单；② 对数据进行多次顺序扫描和排序，效率低；③ 只适合小规模数据集，需要将数据放到内存中。那如何进行剪枝呢？剪枝（pr

本节讲解根据信息增益如何选择划分属性与算法实现，以西瓜数据集为例进行讲解。1. 理论求信息增益（理论参考：机器学习算法——决策树1（ID3决策树算法）_Vicky_xiduoduo的博客-CSDN博客）。表1 西瓜数据集2.0编号色泽根蒂敲声纹理脐部触感好瓜1青绿蜷缩浊响清晰凹陷硬滑是2乌黑蜷缩沉闷清晰凹陷硬滑是.

本文使用sklearn来实现SVM。首先，导入所需要的包from sklearn.datasets import load_breast_cancerfrom sklearn.svm import SVCfrom sklearn.model_selection import train_test_splitimport numpy as npfrom time import timeimport

上节中我们得出了原问题的对偶问题为：公式（4.1）那如何求解公式4.1呢？即解出,求出w和b即可得到原型：（公式4.2）显然，公式4.1是二次规划（QP）问题，可使用二次规划算法进行求解。然而，该问题的规模正比于训练样本数，这会在实际任务中造成很大的开销。为了避免这个障碍，人们利用问题本身的特性，研究出很多高效的算法，其中SMO算法就是一个典型的代表。讲解SMO算法之前，就必须先了解什么是KTT条

一、多层前馈神经网络要解决非线性可分问题，需考虑使用多层功能神经元。输入层和输出层之间的一层神经元，被称为隐层或隐含层（hidden layer）。隐含层和输出层神经元都是拥有激活函数的功能神经元。更一般的，常见的神经网络如下图所示的层级结构：图1 多层前馈神经网络结构示意图每层神经元与下一层神经元全互连，神经元之间不存在同层连接，也不存在跨层连接。这样的神经网络结构通常称为“多层前馈神经网络”（

支持向量机（Support Vector Machines, SVM）是一种基于统计学习理论的机器学习算法，是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器。SVM学习的基本思想是求解能够正确划分训练数据集并且几何间隔最大的超平面。那何为超平面？很多讲解支持向量机的文章及视频一开始就讲超平面及其方程，对于没有基础的人来说很难理解。首先先说明什么是超平面，超平面是一种数学上的概