1 前沿知识

  推理：是从已知的条件出发，退出某个结论的过程
  推理：
  （1）确定性推理
  （2）概率推理（不确定推理）,条件概率是从大量实践中得来的。是一种经验数据的总结。

  贝叶斯公式：

  贝叶斯公式给出了，根据出现的先验概率和类条件概率，计算一个结果出现时导致这个结果的各个原因、各个条件存在的概率，实现逆概率推理的过程。（既通过每个类别的先验概率，和每个类别中出现某种特征的类条件概率，来计算具有某种特征值的样本，属于某一类的后验概率）
  贝叶斯分类原理：
  如果把样本真实所属的类别作为条件，样本的特征值作为结果，那么模式识别的分类决策过程可以看作一种根据结果，推测条件的推理过程，既逆向推理的过程。
  有时虽然样本各不相同，每个样本都有自己真实所属的类别，但是当抽取出一些特征，将样本映射到特征空间的一个点时，可能会出现多对一的映射，此时根据特征向量识别样本时，无法确定样本属于那一个类，而只能得出属于某一个类，或者某几个类的概率，然后根据概率大小做出最后的分类决策，称为不确定的统计分类。

  对于不确定的统计分类，我们已知的是每个类别的样本取得不同特征向量的概率，也就是该类样本的统计分布，现在要实现的是如何依据某个待识别样本的特征向量，计算出该样本属于某一类的概率，如果每个类样本的整体出现概率称为先验概率；每个类中，样本取得具体特征向量的概率作为类条件概率，把要计算的样本取得某个具体特征向量值时属于每一类概率作为后验概率，则可以使用贝叶斯公式。

  举例：

  贝叶斯分类特点：
  （1）先验概率是已知的：先验概率是计算后验概率的基础
  （2）以新获得的信息对先验概率进行修正
  （3）分类决策存在错误

2 分类器举例

2.1 最小错误率贝叶斯分类器

  原理： 把样本划分到后验概率最大的类别中去

  最大后验概率与最小错误率的关系？
  当采用最大后验概率分类时，分类错误的概率为P(e),它是x取不同值时，所有错误率的积分。P（error|x）等于所有分类的后验概率的和减去最大的类别的后验概率。错误率取得最小值，后验概率取得最大值。

  举例：


  最小错误率贝叶斯分类器错误率：
  x属于w1类，但是判定为w2类，则发生分类错误

  举例：

2.2 最小风险贝叶斯分类器

  原理：

  计算采取决策后带来的总体的条件风险，选择条件风险最小的决策
  举例：

2.3 朴素贝叶斯分类器

  使用贝叶斯分类器必须已知的条件：
  各种样本出现的整体先验概率，和各类中取得特征空间中某个点的类条件概率。先验概率可以从统计中得到；
  朴素贝叶斯分类器： 类条件概率往往需要从数据统计中估计，既根据某类样本在各个维度的特征值来估计概率分布情况，即假设各个特征维度的联合概率分布，各个特征是独立的。

3 贝叶斯分类器训练

  贝叶斯分类器的训练就是从样本集中估计出先验概率和类条件概率的过程。

4 极大似然估计和贝叶斯估计

  在类条件概率的估计中，如果采用参数估计，常用的方法有极大似然估计和贝叶斯估计。

4.1 极大似然估计

  基本原理： 是把用于估计的所有样本作为结果，把概率分布的参数作为条件，最有可能抽取到已知样本中所有样本的概率分布参数，就是极大似然的参数，也就是能够得到的最有参数的估计值
  条件：
  （1）类条件概率的概率分布形式是已知的，
  （2）C类样本，其中每一类的每个样本都是独立从样本空间中抽取的，因此每个类别都有概率分布参数θi需要估计
  （3）i类的所有样本，不包含θj类的信息

4.2 贝叶斯估计