模型两大范式：生成式与判别式模型两大范式：生成式与判别式。

线性回归【输出连续值或离散类别】最小化【损失函数】平方损失ℓin​​wN1​​∑n1N​​wTxn​​−yn​​2，矩阵形式ℓin​​wN1​​∥Xw−Y∥2hxwTx。

PLA输出【离散类别】h(x) =sign∑i1d​wi​xi​−thresholdx0​1w0​−thresholdhxsignwTx其中w是权重向量，x是输入特征向量，sign是符号函数。

3.正则化——平衡训练误差与模型复杂度：在损失函数中加入参数惩罚项。【核心函数】sigmoid函数。Logistic回归（软回归）输出样本属于“+1”类的概率。Logistic回归关键代码。2.VC维：衡量模型复杂度。【与其他线性模型对比】​（有放回的组合问题）

Fisher线性判别器【输出离散类别】最大化类间/类内散布比，将高维样本投影到一维空间。

【单层感知器】只能处理线性可分问题，无法处理XOR等问题【多层感知器】输入层（原始特征）→隐藏层（变换）→输出层。

maxwb​​marginwbminn1..N​​∥w∥1​​yn​​wTxn​​byn​​wTxn​​b0（所有样本正确分类）minwb​​21​​wTwstyn​​wTxn​​b≥1：满足yn​​wTxn​​b1。

代价函数：Cost(T)=Err(T)+α⋅∣L(T)∣其中Err(T)是树T的分类误差，∣L(T)∣是叶节点数，α是惩罚成本（α≥0）。前提：弱分类器为“不稳定”分类法，即数据集微小变动导致结果显著变化，如决策树、神经网络。放回采样生成T个独立子集，用每个独立子集训练一个弱分类器，预测采用。信息增益 Gain(S,A)=H(S)-H(S|A)=H(S)-∑。缺点：偏向选择取值多的属性（如”ID“

关键指标：AUC——ROC曲线下面积 AUC越大，分类器性能越好。其中，μ：d 维均值向量；Σ：d×d 协方差矩阵（对称正定）贝叶斯公式：已知先验概率和全概率，求后验概率（用于决策）全概率公式：当x可能来自多个类时，计算x的总出现概率。：比较不同分类器性能 横轴：假阳性率 纵轴：真阳性率。与最小错误率的关系：最小错误率是最小风险的。（通过标准正态分布函数Φ查表或近似计算）：当采用 “0-1 损失函

参数估计：已知概率密度函数的形式，估计未知参数【适用已知分布形式、样本量较小】非参数估计：不假设概率密度函数形式，直接用样本估计密度【适用分布形式未知、样本量较大】