1. 正态分布的极大似然估计

笔记来源:Maximum Likelihood For the Normal Distribution, step-by-step!!!

1.1 正态分布的参数对其形状的影响

1.1.1 μ值对正态分布的影响

1.1.2 σ值对正态分布的影响

1.2 极大似然估计

极大似然估计提供了一种给定观察数据来评估模型参数的方法【引用自:一文搞懂极大似然估计

P(所求 | 已知)、L(所求 | 已知)
概率是已知模型和参数,推数据 P ( x ∣ μ , σ ) P(x|\mu,\sigma) P(xμ,σ)

统计是已知数据,推模型和参数 L ( μ , σ ∣ x ) L(\mu,\sigma|x) L(μ,σx)【引用自:详解最大似然估计(MLE)、最大后验概率估计(MAP),以及贝叶斯公式的理解

我们简单的计算一下某个数据32在两个正态分布下的似然值
L ( μ = 28 , σ = 2   ∣   x = 32 ) L ( μ = 30 , σ = 2   ∣   x = 32 ) L(\mu=28,\sigma=2\ |\ x=32)\\ L(\mu=30,\sigma=2\ |\ x=32) L(μ=28σ=2  x=32)L(μ=30σ=2  x=32)

寻找极大似然估计的流程解释:
1.固定标准差,改变均值,计算出所给数据在正态分布(标准差相同、均值不同)下的似然值,绘制均值似然值函数图像,函数图像导数为0的地方就是均值的极大似然
2.将第一步中找到的均值最大似然固定下来,这次我们只改变标准差,计算出所给数据在正态分布(均值相同、标准差不同)下的似然值,绘制标准差似然值函数图像,函数图像导数为0的地方就是标准差的极大似然

因为要完成上面流程需要大于1个观测数据,但为了解极大似然估计图像如何绘制,我们这里先以一个数据来展示


寻找最优标准差需要大于1个数据

接下来进入正题:计算n个数据的极大似然估计


为方便处理,我们将上式两端同时取对数
取对数不改变极值的位置

首先对上面的等式求 μ \mu μ的偏导(将 μ \mu μ视为变量,将 σ \sigma σ视为常数),然后令其等于0,找到均值的极大似然估计

上面我们找到了均值的极大似然估计,接下来上面的等式求 σ \sigma σ的偏导(将 σ \sigma σ视为变量,将 μ \mu μ视为常数),找到标准差的极大似然估计

Logo

旨在为数千万中国开发者提供一个无缝且高效的云端环境,以支持学习、使用和贡献开源项目。

更多推荐