概念

极大似然估计(Maximum likelihood estimation, 简称MLE)是统计学中常用的参数估计方法，极大似然估计的关键就是，利用已知的样本结果信息，反推最大概率导致这些样本结果出现的模型参数值。

也就是首先假定其具有某种确定的概率分布，但是其参数未知，然后基于训练样本对概率分布的参数进行估计。

其中，极大似然估计中的经典方法，就是根据数据采样去估计概率分布的参数，而采样需要满足一个重要的假设，就是所有的采样都是独立同分布的。

对于似然函数$p(x|\theta )$，它描述对于不同的概率模型的参数，出现x这个样本点的概率，其中x表示样本点数据，$\theta$表示样本假设的概率模型的参数。

而极大似然估计要做的就是，基于对样本采样估计使得似然函数的值最大时的模型参数$\theta$.

例子

例如：给定一组样本x1,x2,…,xn，假设他们服从高斯分布$N(u,\sigma )$，利用最大似然估计参数$u,\sigma$
解：
首先根据高斯分布的概率密度函数作为样本Xi的概率估计

对参数$u,\sigma$进行极大似然估计，L(x)为似然函数，直观上看即为试图在$u,\sigma$的所有取值中，找到一个能使这组数据出现的可能性最大的值。

进一步地，为了避免连乘操作造成下溢，使用对数似然并化简得到

此时的目标函数可以写成如下$l(x)$函数，由于求$l(x)$函数的最大值时$u,\sigma$的取值，即$u,\sigma$导数等于0时的值即为所求，最终的解如下：

在求多元函数极值时有，各偏导等于零点的点为临界点。求二次导确定是否为极大值点。
例如：f(x, y)的一个临界点是(x0, y0)，即fx(x0, y0) = 0 && fy(x0, y0) = 0，f的二阶导数是fxx,fxy,fyy满足

根据计算得到的结果可知，通过极大似然估计法得到的正态分布的均值就是样本均值，方差就是样本的伪方差(分母为n)。这显然是一个符合直觉的结果。

需要注意的是，这种参数化的方法虽然能够使概率估计变得相对简单，但是估计的结果的准确性严重依赖于所假设的概率分布形式是否符合潜在的真实数据分布。在现实应用中，欲做出能较好地接近潜在真实分布的假设，往往需在一定程度上利用应用任务本身的经验知识，否则若仅凭猜测来假设概率分布形式，很可能产生误导性的结果。

参考：
https://zhuanlan.zhihu.com/p/26614750
https://blog.csdn.net/u011508640/article/details/72815981
西瓜书149页