MVU表示最小方差无偏估计,下面将推导一个线性模型的MVUE,即最小方差无偏估计量。

线性模型可以表示为:
x = H θ + w \bf{x = H\theta + w} x=Hθ+w
其中 θ \theta θ 为待估参数,均为向量。当然,这里的MVU估计量也可以被称为BLUE,即最佳线性无偏估计量。
我们假设 w ∼ N ( 0 , C ) \bf{w} \sim N(0,C) wN(0,C) ,要根据克拉美罗界限求得最小方差无偏估计量,依据公式:
∂ ln ⁡ p ( x ; θ ) ∂ θ = I ( θ ) ( g ( x ) − θ ) \frac{\partial \ln p(\mathbf{x} ; \theta)}{\partial \theta}=I(\theta)(g(x)-\theta) θlnp(x;θ)=I(θ)(g(x)θ)
可以得到克拉美罗界限 I ( θ ) I(\theta) I(θ),以及最小方差无偏估计量 θ ^ = g ( x ) \hat{\theta} = g(x) θ^=g(x),所以我们的目的就是求 ∂ ln ⁡ p ( x ; θ ) ∂ θ \frac{\partial \ln p(\mathbf{x} ; \theta)}{\partial \theta} θlnp(x;θ)
p ( x ; θ ) = 1 ( 2 π ) N 2 d e t ( C ) 1 2 e x p ( − 1 2 ( x − H θ ) T C − 1 ( x − H θ ) ) p(\bf{x;\theta}) = \frac{1}{ (2\pi)^{\frac{N}{2}}det(C)^{\frac{1}{2}}}exp(-\frac{1}{2}(x-H\theta)^{T}C^{-1}(x-H\theta)) p(x;θ)=(2π)2Ndet(C)211exp(21(xHθ)TC1(xHθ))
∂ ln ⁡ p ( x ; θ ) ∂ θ = − 1 2 ∂ ∂ θ [ x T C − 1 x + ( H θ ) T C − 1 ( H θ ) − ( H θ ) T C − 1 x − x T C − 1 ( H θ ) ] = − 1 2 [ 2 H T C − 1 H θ − 2 H T C − 1 x ] = − H T C − 1 H θ + H T C − 1 x = ( H T C − 1 H ) ( ( H T C − 1 H ) − 1 H T C − 1 x − θ ) \begin{aligned} \frac{\partial \ln p(\mathbf{x} ; \theta)}{\partial \theta} &= -\frac{1}{2}\frac{\partial}{\partial \theta}[x^TC^{-1}x +(H \theta)^TC^{-1}(H \theta) - (H \theta)^TC^{-1}x-x^TC^{-1}(H \theta)] \\ &= - \frac{1}{2}[2 H^TC^{-1}H\theta -2H^TC^{-1}x] \\ &=-H^T C^{-1}H\theta + H^TC^{-1}x \\ &=(H^TC^{-1}H)((H^TC^{-1}H)^{-1}H^TC^{-1}x - \theta) \end{aligned} θlnp(x;θ)=21θ[xTC1x+(Hθ)TC1(Hθ)(Hθ)TC1xxTC1(Hθ)]=21[2HTC1Hθ2HTC1x]=HTC1Hθ+HTC1x=(HTC1H)((HTC1H)1HTC1xθ)

得到 θ ^ = g ( x ) = ( H T C − 1 H ) − 1 H T C − 1 x \hat{\theta} = g(x) = (H^TC^{-1}H)^{-1}H^TC^{-1}x θ^=g(x)=(HTC1H)1HTC1x
v a r ( θ ) = I ( θ ) − 1 = ( H T C − 1 H ) − 1 var(\theta) = I(\theta)^{-1} = (H^TC^{-1}H)^{-1} var(θ)=I(θ)1=(HTC1H)1
这个结论与最小二乘法相同。

Logo

前往低代码交流专区

更多推荐