参数估计：已知概率密度函数的形式，估计未知参数【适用已知分布形式、样本量较小】
非参数估计：不假设概率密度函数形式，直接用样本估计密度【适用分布形式未知、样本量较大】

一、参数估计

1.基本概念：

统计量：指样本的函数；参数空间：指待估参数的取值范围

2.MLE最大似然估计

固定参数ɵ，最大化“样本在该参数下出现的概率”（似然函数）

似然函数：样本的联合概率密度→为简化计算，常用对数似然函数

特殊情况（如均匀分布）：若似然函数无零点，可通过边界分析求解（${\theta }_1=min{x}_i$,${\theta }_2=max{x}_i$）

【正态分布下的MLE】

μ为无偏估计，方差分有偏估计和无偏估计

a）单变量 $p(x\mid \theta )\sim N(\mu ,{\sigma }^2)$，参数$\theta =[\mu ,{\sigma }^2]$
估计结果：$\hat{\mu }=\frac{1}{N}{\sum }_i^N{x}_i$​（无偏估计），${\hat{\sigma }}^2=\frac{1}{N}{\sum }_i^N(x_i-\hat{\mu }{)}^2$​（有偏估计，无偏修正需除以(N−1)）。
b）多变量

3.贝叶斯估计

视ɵ为随机变量，有先验分布p(ɵ)，结合样本信息得到后验分布p(ɵ|X)，找到最小化风险的估计量，即找到$\hat{\theta }$使$R(\hat{\theta }\mid X)={\int }_{\Theta }\lambda (\hat{\theta },\theta )p(\theta \mid X)d\theta$最小，$\hat{\theta }$为贝叶斯估计量

【损失函数】
1） 最常用：平方误差损失——贝叶斯估计量为后验期望：$\hat{\theta }=E[\theta \mid X]={\int }_{\Theta }\theta p(\theta \mid X)d\theta$【适用于常规参数估计如均值、方差】

2） MAP最大后验估计：0-1损失——贝叶斯估计量为概率密度最高的参数值，即：${\hat{\theta }}_{MAP}=argma{x}_{\theta \in \Theta }p(\theta \mid X)$【适用于分类、判定对错的任务】

3） 后验中位数估计：绝对误差损失——贝叶斯估计量为后验分布的中位数，即${\int }_{-\infty }^{\hat{\theta }}p(\theta \mid X)d\theta ={\int }_{\hat{\theta }}^{+\infty }p(\theta \mid X)d\theta =0.5$【适用于存在异常值或者分布不对称的情况】

【正态分布下的贝叶斯估计】

• 场景：已知$p(x\mid \mu )\sim N(\mu ,{\sigma }^2)$（${\sigma }^2$已知），先验$p(\mu )\sim N({\mu }_0,{\sigma }_0^2)$，样本均值$m_N=\frac{1}{N}{\sum }_{k=1}^N{x}_k$；
• 后验分布：$p(\mu |X)\sim N({\mu }_N,{\sigma }_N^2)$，其中：${\mu }_N=\frac{N{\sigma }_0^2}{N{\sigma }_0^2+{\sigma }^2}\cdot m_N+\frac{{\sigma }^2}{N{\sigma }_0^2+{\sigma }^2}\cdot {\mu }_0$​（样本信息与先验信息的加权平均），${\sigma }_N^2=\frac{{\sigma }^2{\sigma }_0^2}{N{\sigma }_0^2+{\sigma }^2}$（后验不确定性随样本量增大而减小）；
• 贝叶斯估计量：$\hat{\mu }={\mu }_N$​。

※贝叶斯学习

随样本量增加，参数后验分布逐渐尖锐，收敛于以真实参数为中心的冲激函数

后验概率分布可递推计算，$p(\theta \mid X_N)=\frac{p(x_N|\theta )p(\theta |X^{N-1})}{{\int }_{\Theta }p(x_N|\theta )p(\theta \mid X^{N-1})d\theta }$，​无需重新计算所有样本

二、非参数估计

通过局部样本密度估计概率密度

收敛条件：当N→∞时，需满足区域足够小即V→0，区域内样本足够多（保证可靠性）即k→∞，区域内样本占比极小即$\frac{k}{N}$→0

1.直方图法：将特征空间划分为等间隔小舱

缺点：小舱体积难选（过大过小……），估计结果不连续

2.Parzen窗法：滑动窗（核函数）

公式：密度估计：$\hat{p}(x)=\frac{1}{N}{\sum }_{i=1}^{N}k(x,x_i)$，其中核函数$k(x,x_i)=\frac{1}{V}\phi (\frac{x-x_i}{h})$

【核函数】

1）要求：非负，积分为1，随距离衰减（保证局部性）
2） 常用核函数：

• a)方窗：对应 “矩形窗口” 贡献；
• b)高斯窗：一维形式：$k(x,x_i)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{\frac{(x-x_i{)}^2}{2{\sigma }^2}}$平滑性好，最常用）；
• c)超球窗：$$k(x,x_i)=\{\begin{array}{rlr}\frac{1}{V}& & ||x-x_i||\le \rho \\ 0& & 其他\end{array}$$其中V为超球体积，ρ为半径。

3)窗宽影响：

• 若过宽，则结果平滑但分辨率低，可能欠拟合
• 若过小，则结果波动大，可能过拟合
• 常用窗宽：$h\propto N^{-\eta /d}$（$\eta \in (0,1)$，如$\eta =1/2$，$d$为特征维度）

3.$K_N$近邻估计：固定小区域内样本数，自动调整小区域体积
密度估计公式：$\hat{p}(x)=\frac{k_N/N}{V}$

• 优势
  1）自适应调整窗口体积：高密度区域体积小，低密度区域体积大
  2）需设计核函数，只需确定参数$k_N$
• 缺点
  1）高维空间存在维度灾难：样本稀疏，为包含$k_N$个样本，区域体积会急剧增大
  2）$k_N$的选择需平衡平滑性与分辨率，通常取$k_N\propto N$

三、概率神经网络

网络结构：输入层→模式层（计算核函数贡献）→类别层（累加同类样本贡献）→输出层

大家后面想看什么内容？欢迎留言~