CSU人工智能与模式识别复习-贝叶斯决策理论

一、概念解析ConceptsAnalysis：

1. 模式分类：根据识别对象的观测值确定其类别；
2. 决策Decision：从样本空间$S$到决策空间$\Theta$的一个映射；
3. 贝叶斯Bayes决策理论的应用过程是：在不完全情报下，对部分未知的状态用主观概率估计，然后用贝叶斯公式对发生概率进行修正，最后再利落那个期望值和修正概率做出最优决策；
4. 贝叶斯决策理论的基本思想是：①已知类条件概率密度参数表达式和先验概率；②利用贝叶斯公式转换为后验概率；③根据狗眼概率进行决策分类；
5. BayesDecision的常用评价准则：①最小错误率准则（朴素贝叶斯法）；②最小风险准则；③在限定一类错误率条件下使另一类错误率为最小的准则；③最小最大准则；
6. 类条件概率密度Class-Conditional Probabilities Density：假定$x$是一个连续随机变量，其分布取决于类别状态，表示成$p(x|\omega )$的形式，这就是“类条件概率密度”函数，即类别状态为$\omega$时的$x$的概率密度函数（有时也称为状态条件概率密度）；
   
7. 贝叶斯公式：
   
   
8. 分类器是某种由硬件或软件组成的机器：
   其中，$g(x)$是判别函数，选则一个值最大的进入下一步骤：
   

二、Bayes Decision Methods贝叶斯决策方法

2.1 Bayes Minimum error rate 最小错误率决策

思想：从尽量减少错误的角度出发，利用Bayes公式得出使错误最小的分类原则，以后验概率为判决函数：

决策规则：

该决策能够使得在观测值$x$下的条件错误率$p(erroe|x)$最小。
几种等价表示：

决策的错误率：Bayes最小错误率决策使得每个观测值下的条件错误率最小因而保证了平均错误率最小。
条件错误率：$p(erroe|x)$
平均错误率：
假设$t$是两类的分界面，则当特征向量为一维时，$t$为$x$轴上的一点，如图所示，则有：

2.2 基于最小风险的Bayes决策

1. 条件风险Condition Risk：
   
2. 基于最小风险的Bayes决策：决策带来的损失的平均风险最小。
   Bayes最小风险决策通过保证每个观测值下的条件风险最小，使得它的期望风险最小，是一致最优决策。
3. 决策规则：
   
4. 最小风险决策的计算：
   计算步骤：
   (1)根据Bayes公式计算后验概率$p(w_i|x)$；
   (2)根据后验概率及给定的损失矩阵，计算出每个决策的条件风险$Risk(D(x)=w_i|x)$(简记为$R(w_i|x)$)；
   (3)按最小的条件风险进行决策。
5. 对于一个二分类问题：
   计算条件风险：
   用Bayes公式展开，根据最小风险Bayes决策得到：
   或：
   
6. 最小风险决策的一般性：
   基于最小错误率的Bayes决策可作为最小风险Bayes决策的一种特殊情形。
   

三、分类器Classifier

3.1 分类器设计

1. 关键问题：如何利用决策规则对观察向量进行分类。
2. 判别函数与决策面：
   （1）对于$c$分类问题，按照决策规则可将$d$维特征空间划分为$c$个决策域$R_1,R_2,\dots ,R_c$；
   （2）决策规则的数学表达形式——判别函数(Discriminant Functions)；
   （3） 相邻决策域的边界面称为决策面（decision surface; decision boundary）
   \qquad 例，对于按最小错误率决策的二分类问题，判别函数$g_i(x_{)}=f(P(w_i|x))$；
   \qquad 例，按最小风险决策的判别函数：$g_i(x)=f(-R(w_i|x))$;
   \qquad 注意，其中$f()$是单调递增函数；
   \qquad 相邻两个决策域其决策面方程满足$g_i(x)=g_j(x)$。

3.2 二分类问题判别函数

二分类情况下可以仅定义一个判别函数：

决策规则：

其他判别函数定义：

四、Neyman-Pearson Deccision

4.1 引入

在最小风险决策中引入了决策表，是因为不同情况的分类错误带来的损失不同。
二分类问题中状态和决策之间可能的关系通常用混淆矩阵表示：

4.2 Neyman-Pearson Decision

详见：奈曼-皮尔逊决策详解

五、计算实例Compute

1. 细胞分类问题：

2. 最小风险决策问题：

3. 最小错误率与最小风险决策：