一、概念厘清

贝叶斯公式：已知先验概率和全概率，求后验概率（用于决策）
全概率公式：当x可能来自多个类时，计算x的总出现概率

二、三大核心决策方法

（一）最小错误率贝叶斯决策：整体平均错误率最小

若$P({\omega }_i\mid x)=ma{x}_{j}P({\omega }_j\mid x)$，则$x\in {\omega }_i$​
等价形式（两分类）
①似然比：$p(x\mid {\omega }_1)/p(x\mid {\omega }_2)>P({\omega }_2)/P({\omega }_1)$（判${\omega }_1$​）
②对数似然比：化简计算，避免小数乘法

（二）最小风险贝叶斯决策：考虑损失

引入损失函数$\lambda ({\alpha }_i,{\omega }_j)$，条件风险$R({\alpha }_i\mid x)=\sum$_$j$$\lambda ({\alpha }_i,{\omega }_j)P({\omega }_j\mid x)$，x归类于R(αi​∣x）最小
与最小错误率的关系：最小错误率是最小风险的特例：当采用 “0-1 损失函数”时等价。

（三）Neyman-Pearson决策：限制关键错误

步骤：

1. 指定需限制的错误率
2. 通过拉格朗日乘数法，推导似然比阈值λ
3. 通过数值方法调整λ，使限制的错误率恰好等于ε0​（因为一般无法得到解析解）

ROC曲线：比较不同分类器性能 横轴：假阳性率 纵轴：真阳性率
关键指标：AUC——ROC曲线下面积 AUC越大，分类器性能越好

三、正态分布的统计决策

1）单变量正态分布

概率密度函数：$p(x)\sim N(\mu ,{\sigma }^2)$，p(x)=$\frac{1}{\sqrt{2\pi }\sigma }exp[-\frac{1}{2}(\frac{x-\mu }{\sigma }{)}^2]$

2）多元正态分布

概率密度函数：$p(x)\sim N(\mu ,\Sigma )$ p(x)=$\frac{1}{(2\pi {)}^{d/2}|\Sigma {|}^{1/2}}exp[-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )]$
其中，μ：d 维均值向量；Σ：d×d 协方差矩阵（对称正定）

性质：

1. 等概率密度轨迹：​$(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )$=常数，对应超椭球面（中心为μ，形状由Σ决定）。
2. 不相关性 = 独立性：若两个分量$x_i$,$x_j$​不相关（协方差${\sigma }_{ij}$​=0），则它们独立（仅正态分布满足）。
3. 边缘 / 条件分布正态性：多元正态分布的边缘分布（单个分量）和条件分布（给定部分分量）仍为正态分布。

3)正态分布下的决策面分布

分类器的错误率

仅当类概密为正态分布且协方差矩阵相等时，可通过马氏距离计算错误率：

（通过标准正态分布函数Φ查表或近似计算）

写在结尾：最后公式懒得打就放图了哈哈哈 另外，这个专栏马上就到尾声了，大家后面想看什么内容？欢迎留言~