模型两大范式：生成式与判别式

一、生成式与判别式的区别

二、判别式方法框架

输入→特征提取→模型假设→定义损失函数→参数优化→输出预测

1.最优预测

对x，找g(x)= argmin_h(x)∈R$E_{p(y|x)}[\ell (y,h(x))]$（最小化期望损失）

2.损失函数

• 平方误差损失MSE（离散型p(y|x)）——最优解为条件期望 g(x) = $E_{p(y|x)}[y|x]=\Sigma yp(y|x)$
• 绝对误差损失（连续型p(y|x)）——最优解为条件中位数，
  ${\int }_{-\infty }^{g(x)}p(y\mid x)dy={\int }_{g(x)}^{\infty }p(y\mid x)dy=\frac{1}{2}$

三、经典判别式算法 ​

线性判别算法   		  感知器 → 线性回归（回归→分类）→ Fisher（找最优超平面）     
    ↓          	      → Logistics回归（软分类）→ 线性支撑向量机（分类线有”宽度“）
    ↓
非线性判别算法      	  非线性变换（升维实现线性可分）→Dual/Kernel SVM（处理高维问题）
    ↓
多分类与深度学习        多类别分类（从 “二元分类” 扩展到 “多分类”）
                      → 神经网络与深度学习（从 “浅层模型” 过渡到 “深层模型”）