一、前言

本来我并不想开机器学习这个专栏，因为机器学习与高数线代矩阵论概率论密切相关，我的数学能力没达到这种高度。然而控制理论也会涉及各种数理统计知识，那就不得不开一个数理栏了。

这个栏没有具体的知识路线，写到哪算哪，数学和机器学习相关且不好分类的东西都会往这边放。

二、高斯分布（正态分布）

假设随机变量$x_1$服从均值和方差为${\mu }_1,{\sigma }_1^2$的高斯分布，可记作$x_1\sim N({\mu }_1,{\sigma }_1)$，其概率密度函数为：
$$p(x_1)=\frac{1}{\sqrt{2\pi }{\sigma }_1}\exp [-\frac{(x-{\mu }_1{)}^2}{2{\sigma }_1^2}]$$

标准高斯分布

如果随机变量$x\sim N(0,1)$，则称$x$服从标准高斯（正态）分布：
$$p(x)=\frac{1}{\sqrt{2\pi }}\exp (-\frac{x^2}{2})$$

高斯分布的基本性质

假设$x\sim N(\mu ,{\sigma }^2)$，有：
$$ax+b\sim N(a\mu +b,a^2{\mu }^2),a,b\in R$$
假设$x\sim N({\mu }_x,{\sigma }_x^2)$，$y\sim N({\mu }_y,{\sigma }_y^2)$，$x,y$是独立随机变量，有：
$$x+y\sim N({\mu }_x+{\mu }_y,{\sigma }_x^2+{\sigma }_y^2)$$

三、高斯分布的乘积

进入正题。假设两个独立随机变量$x\sim N({\mu }_x,{\sigma }_x^2)$，$y\sim N({\mu }_y,{\sigma }_y^2)$，则它们的乘积符合高斯概率密度函数的形式：
$$(x,y)\sim N(\frac{{\mu }_y{\sigma }_x^2+{\mu }_x{\sigma }_y^2}{{\sigma }_x^2+{\sigma }_y^2},\frac{1}{1/{\sigma }_x^2+1/{\sigma }_y^2})$$
具体的推导方式，可以通过$p(x)p(y)$乘积获得：
$$p(x)p(y)=\frac{1}{2{\pi }^2{\sigma }_x{\sigma }_y}\exp (-\frac{{\sigma }_y^2(x-{\mu }_x{)}^2+{\sigma }_x^2(x-{\mu }_y{)}^2}{2{\sigma }_x^2{\sigma }_y^2})$$
通过将$exp$中的$({\sigma }_x^2+{\sigma }_y^2)x^2$和常数项凑平方后，能够得到一个形似$\lambda \frac{1}{\sqrt{2\pi }\sigma }\exp [-\frac{(x-\mu {)}^2}{2{\sigma }^2}]$，只不过系数$\lambda$的存在使得这个函数的积分不等于1。

具体的证明可以参照这个Blog：

两个高斯分布乘积的理论推导
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chaosir1991/article/details/106910668/

python示意图

红色函数是蓝绿两个高斯分布的乘积结果，可以看出其形状也是对称的，但与x轴围成的面积少于另外两个高斯分布。

四、多维高斯分布

如果$X=[x_1,x_2,\dots ,x_n{]}^T$是个服从高斯分布的多维随机变量，可以记为$X\sim N(\mu ,\Sigma )$，其中$\mu =[{\mu }_1,{\mu }_2,\dots ,{\mu }_n{]}^T$，$\Sigma \in {\mathbb{R}}^{n\times n}$是各分量的协方差矩阵。

概率密度函数可表示为：
$$p(X)=\frac{1}{(2\pi {)}^{n/2}|\Sigma {|}^{1/2}}\exp (-\frac{(X-\mu {)}^T{\Sigma }^{-1}(X-\mu )}{2})$$

多维高斯分布有一个比较重要的性质：
对于多维高斯分布$X\in {\mathbb{R}}^n$，经过线性变换$A\in {\mathbb{R}}^{k\times n}$，$Y=AX\in {\mathbb{R}}^k$仍然是一个多维高斯分布，且$Y\sim N(A\mu ,A\Sigma A^T)$

此外，两个多维高斯分布概率密度函数的乘积，仍然具有多维高斯分布概率密度函数的形式。

五、共轭分布

贝叶斯定理有：
$$\begin{gathered} p(x|z)=\frac{p(z|x)p(x)}{p(z)}\propto p(z|x)p(x) \\ p(x)isprior \\ p(x|z)isposterior \\ p(z|x)islikelihood \end{gathered}$$

如果后验分布和先验分布是同类型的分布，则称先验分布和后验分布是共轭分布，先验分布是似然的共轭先验。

根据高斯分布的特性，如果先验和似然都是高斯分布的形式，那么它们是共轭的。

后记

在这里记录一个二维正态分布的充要条件：

$(x,y)$服从二维正态分布，当且仅当$x$和$y$的任意线性组合均服从一维正态分布。