周志华《机器学习—西瓜书》七

七、贝叶斯理论

1. 贝叶斯决策论

概率框架下实施决策的基本理论

• 条件风险：给定$N$个类别，${\lambda }_{ij}$是“将第$j$类误分为第$i$类”的损失，将样本$\mathbf{x}$分到第$i$类的条件风险为：

  $$R(c_i|\mathbf{x})=\sum _{j=1}^N{\lambda }_{ij}P(c_j|\mathbf{x})$$

• 贝叶斯判定准则：选择风险最小的类别，即

  $$h^{\ast }(\mathbf{x})=\arg \underset{c\in \mathcal{Y}}{\min }R(c|\mathbf{x})$$

• 核心概念：

  • $h^{\ast }(\mathbf{x})$称为贝叶斯最优分类器，其总体风险为贝叶斯风险；
  • 贝叶斯风险是学习性能的理论上限。

2. 判别式 vs. 生成式模型

• 背景：$P(c|\mathbf{x})$通常难以直接获得，机器学习通过两种策略估计后验概率。

• 判别式模型（Discriminative）：

  • 思路：直接对$P(c|\mathbf{x})$建模；
  • 代表：决策树、BP神经网络、SVM。

• 生成式模型（Generative）：

  • 思路：先对联合概率分布$P(\mathbf{x},c)$建模，再通过$P(c|\mathbf{x})=\frac{P(\mathbf{x},c)}{P(\mathbf{x})}$推导后验概率；
  • 代表：贝叶斯分类器。

3. 贝叶斯定理

• 公式：

  $$P(c|\mathbf{x})=\frac{P(\mathbf{x},c)}{P(\mathbf{x})}=\frac{P(c)P(\mathbf{x}|c)}{P(\mathbf{x})}$$

• 各部分含义：

  • $P(c)$：先验概率（Prior），样本空间中类$c$的占比，可通过样本频率估计（大数定律）；
  • $P(\mathbf{x}|c)$：样本相对于类标记的类条件概率（似然） ，样本$\mathbf{x}$属于类$c$的概率（估计难点）；主要困难在于估计 似然 $P(\mathbf{x}|c)$
  • $P(\mathbf{x})$：证据（Evidence）因子，与类别无关。

4. 极大似然估计

• 核心思路：先假设概率分布形式，再基于训练样例估计参数。

• 定义：假定$P(\mathbf{x}|c)$具有确定的概率分布形式，由参数${\mathbf{\theta }}_c$唯一确定，则任务是利用训练集$D$中第$c$类样本集合$D_c$，${\mathbf{\theta }}_c$的似然为：

  $$P(D_c|{\mathbf{\theta }}_c)=\prod _{\mathbf{x}\in D_c}P(\mathbf{x}|{\mathbf{\theta }}_c)$$

• 优化：连乘易下溢，因此通常改用对数似然：

  $$LL({\mathbf{\theta }}_c)=\log P(D_c|{\mathbf{\theta }}_c)=\sum _{\mathbf{x}\in D_c}\log P(\mathbf{x}|{\mathbf{\theta }}_c)$$

• 极大似然估计变成： （频率主义提供的参数估计方法）

  $${\hat{\mathbf{\theta }}}_c=\arg \underset{{\mathbf{\theta }}_c}{\max }LL({\mathbf{\theta }}_c)$$

5. 朴素贝叶斯分类器

• 核心问题：贝叶斯定理中$P(\mathbf{x}|c)$ 所有属性上的联合概率难以从有限训练样本估计获得（组合爆炸、样本稀疏）。

• 基本思路：假定属性相互独立（“朴素”的来源），因此联合概率可拆解为属性概率的乘积：

  $$P(c|\mathbf{x})=\frac{P(c)P(\mathbf{x}|c)}{P(\mathbf{x})}=\frac{P(c)}{P(\mathbf{x})}\prod _{i=1}^{d}P(x_i|c)$$

  （$d$为属性数，$x_i$是$\mathbf{x}$在第$i$个属性上的取值）

• 分类准则：因$P(\mathbf{x})$对所有类别相同，只需最大化分子，即

  $$h_{nb}(\mathbf{x})=\arg \underset{c\in \mathcal{Y}}{\max }P(c)\prod _{i=1}^{d}P(x_i|c)$$

朴素贝叶斯的概率估计方法

• 先验概率$P(c)$的估计：

  $$P(c)=\frac{|D_c|}{|D|}$$

  （$D_c$是训练集$D$中类$c$的样本集合）

• 类条件概率$P(x_i|c)$的估计：

  • 离散属性：令$D_{c,x_i}$是$D_c$中第$i$个属性取$x_i$的样本集合，则

    $$P(x_i|c)=\frac{|D_{c,x_i}|}{|D_c|}$$

  • 连续属性：假设服从正态分布$p(x_i|c)\sim \mathcal{N}({\mu }_{c,i},{\sigma }_{c,i}^2)$，则概率密度为

    $$p(x_i|c)=\frac{1}{\sqrt{2\pi }{\sigma }_{c,i}}\exp \left(-\frac{(x_i-{\mu }_{c,i}{)}^2}{2{\sigma }_{c,i}^2}\right)$$

    （${\mu }_{c,i}$、${\sigma }_{c,i}$是$D_c$中第$i$个属性的均值、方差）

朴素贝叶斯示例（好瓜/坏瓜分类）

给定测试样本：（青绿；稍蜷；浊响；清晰），需判断是好瓜/坏瓜。

• 训练集统计（部分）：

  • 好瓜样本数$|D_{yes}|=8$，坏瓜$|D_{no}|=9$，总样本$|D|=17$；
  • 好瓜下的属性概率：$P(青绿|yes)=3/8$、$P(稍蜷|yes)=3/8$、$P(浊响|yes)=6/8$、$P(清晰|yes)=7/8$；
  • 坏瓜下的属性概率：$P(青绿|no)=3/9$、$P(稍蜷|no)=4/9$、$P(浊响|no)=4/9$、$P(清晰|no)=2/9$。

• 计算分子：

  • 好瓜：$P(yes)\prod P(x_i|yes)=\frac{8}{17}\times \frac{3}{8}\times \frac{3}{8}\times \frac{6}{8}\times \frac{7}{8}$
  • 坏瓜：$P(no)\prod P(x_i|no)=\frac{9}{17}\times \frac{3}{9}\times \frac{4}{9}\times \frac{4}{9}\times \frac{2}{9}$

• 结论：好瓜的分子更大，因此判定为“好瓜”。

6. 拉普拉斯修正

• 问题：若训练集中某属性值未与某类同时出现（如“敲声=清脆”的好瓜），会导致$P(x_i|c)=0$，进而使整个乘积为0（“抹去”其他属性的信息）。

• 例如：若训练集中未出现“敲声=清脆”的好瓜，则模型在遇到“敲声=清脆”的测试样本时

• 修正方法：对概率估计加1平滑，公式为：

  $$\hat{P}(c)=\frac{|D_c|+1}{|D|+N},\hat{P}(x_i|c)=\frac{|D_{c,x_i}|+1}{|D_c|+N_i}$$

  （$N$是类别数，$N_i$是第$i$个属性的取值数）

• 说明：引入了“属性值与类别均匀分布”的假设，会带来一定偏差，但避免了概率为0的问题。假设了属性值与类别的均匀分布，这是额外引入的bias

‍