人工智能数学基础-似然函数

文档介绍似然函数（关于参数 θ 的函数，与密度函数区分，含离散、连续情况），及极大似然估计（选 θ 使样本概率最大，含求解步骤与泊松分布示例），清晰阐述核心概念与方法。

wajsjhd

507人浏览 · 2025-10-02 09:00:00

wajsjhd · 2025-10-02 09:00:00 发布

似然函数

一、似然函数的定义

给定联合样本值 $x$ 关于参数 $θ\theta$ 的函数: $L(θ∣x)=f(x∣θ)L(\theta | x)=f(x | \theta)$ 其中 $x$ 是随机变量 $X$ 取得的值， $θ\theta$ 是未知的参数。
$\theta)$ 是密度函数，表示给定 $θ\theta$ 下的联合密度函数。

核心区别：似然函数是关于 $θ\theta$ 的函数，而密度函数是关于 $x$ 的函数。

二、不同分布下的似然函数

1. 离散情况下

概率密度函数（此时为概率质量函数）： $\theta)=\mathbb{P}_{\theta}(X=x)$
表示在参数 $θ\theta$ 下，随机变量 $X$ 取到 $x$ 的可能性。
似然大小比较：
若 $L(θ1∣x)=Pθ1(X=x)>Pθ2(X=x)=L(θ2∣x)L(\theta _{1}|x)=\mathbb {P}_{\theta _{1}}(X=x)>\mathbb {P}_{\theta _{2}}(X=x)=L(\theta _{2}|x)$ ，则在参数 $θ1\theta_1$ 下随机变量 $X$ 取到 $x$ 值的可能性大于 $θ2\theta_2$ 。

2. 连续情况下

若 $X$ 是连续随机变量，给定足够小的 $ε>0\varepsilon>0$ ，则其在区间 $(x−ε,x+ε)(x-\varepsilon, x+\varepsilon)$ 内的概率为：
$Pθ(x−ϵ<X<x+ϵ)=∫x−ϵx+ϵf(x∣θ)dx≈2ϵf(x∣θ)=2ϵL(θ∣x)\mathbb{P}_{\theta}(x-\epsilon<X<x+\epsilon)=\int_{x-\epsilon}^{x+\epsilon} f(x | \theta) d x \approx 2 \epsilon f(x | \theta)=2 \epsilon L(\theta | x)$

结论：连续型与离散型结论一致！

概率：表达在给定参数 $θ\theta$ 时， $X = x$ 的可能性；
似然：表达在给定样本 $X = x$ 时，参数 $θ\theta$ 的可能性。

三、极大似然估计

1. 核心思想（示例）

在一次吃鸡比赛中，有两位选手（职业选手、菜鸟路人）。比赛结束后，公布有一位选手完成20杀，请问是哪个选手？
通常会选择“职业选手”，核心逻辑是：概率最大的事件最有可能发生。

在这里插入图片描述

2. 极大似然估计的定义

在一次抽样中，得到观测值 $x1,x2,…,xnx_1,x_2,\dots,x_n$ 。选取 $θ=θ^(x1,x2,…,xn)\theta=\hat{\theta}(x_1, x_2, \dots, x_n)$ 作为 $θ\theta$ 的估计值（ $θ^\hat{\theta}$ 表示 $θ\theta$ 的估计量），使得当 $θ=θ^\theta=\hat{\theta}$ 时，样本出现的概率最大。

3. 极大似然函数的公式

样本类型	似然函数公式
离散型样本	$L(θ)=∏i=1np(xi;θ)L(\theta)=\prod_{i=1}^{n} p\left(x_{i} ; \theta\right)$ （ $p(xi;θ)p(x_i;\theta)$ 为离散型概率质量函数）
连续型样本	$L(θ)=∏i=1nf(xi;θ)L(\theta)=\prod_{i=1}^{n} f\left(x_{i} ; \theta\right)$ （ $f(xi;θ)f(x_i;\theta)$ 为连续型概率密度函数）

极大似然估计的目标： $,xn;θ)L\left(x_{1}, x_{2}, \cdots, x_{n} ; \theta\right)=\max _{\theta \in \Theta} L\left(x_{1}, x_{2}, \cdots, x_{n} ; \theta\right)$
其中 $Θ\Theta$ 是参数 $θ\theta$ 的取值范围。

4. 极大似然估计的求解步骤

构造似然函数： $L(θ)L(\theta)$ （根据样本类型选择上述离散或连续型公式）；
对似然函数取自然对数： $ln⁡L(θ)\ln L(\theta)$ （目的是将乘积运算转化为加法运算，简化求导）；
求导并令导数为0：对 $ln⁡L(θ)\ln L(\theta)$ 关于 $θ\theta$ 求导，令 $dln⁡Ldθ=0\frac{d \ln L}{d \theta}=0$ （若 $θ\theta$ 为多维参数，则求偏导 $∂ln⁡L∂θi=0\frac{\partial \ln L}{\partial \theta_i}=0$ ）；
求解参数：解上述方程，得到 $θ\theta$ 的极大似然估计值 $θ^\hat{\theta}$ 。

5. 求解示例（以泊松分布为例）

假设随机变量 $X$ 的分布律为 $,nX=0,1,2,\cdots,n$ （此处实际为泊松分布，参数为 $λ\lambda$ ），现有样本 $x1,x2,…,xnx_1,x_2,\dots,x_n$ ，求 $λ\lambda$ 的极大似然估计值。

步骤1：构造似然函数

$L(λ)=∏i=1n(λxixi!e−λ)=e−nλλ∑i=1nxi∏i=1n(xi!)L(\lambda)=\prod_{i=1}^{n}\left(\frac{\lambda^{x_{i}}}{x_{i} !} e^{-\lambda}\right)=e^{-n \lambda} \frac{\lambda^{\sum_{i=1}^{n} x_{i}}}{\prod_{i=1}^{n}\left(x_{i} !\right)}$

步骤2：取自然对数

$ln⁡L(λ)=−nλ+(∑i=1nxi)ln⁡λ−∑i=1nln⁡(xi!)\ln L(\lambda)=-n \lambda+\left(\sum_{i=1}^{n} x_{i}\right) \ln \lambda-\sum_{i=1}^{n} \ln(x_{i} !)$
（注：原文档中“ $βln⁡L(λ)\beta \ln L(\lambda)$ ”为笔误，修正为“ $ln⁡L(λ)\ln L(\lambda)$ ”；取对数后 $1∏i=1n(xi!)\frac{1}{\prod_{i=1}^{n}(x_i!)}$ 需转化为 $−∑i=1nln⁡(xi!)-\sum_{i=1}^{n}\ln(x_i!)$ ，原文档遗漏“ $ln⁡\ln$ ”，此处修正以保证数学正确性）

步骤3：求导并令导数为0

对 $ln⁡L(λ)\ln L(\lambda)$ 关于 $λ\lambda$ 求导：
$ddλln⁡L(λ)=−n+∑i=1nxiλ=0\frac{d}{d \lambda} \ln L(\lambda)=-n+\frac{\sum_{i=1}^{n} x_{i}}{\lambda}=0$

步骤4：求解 $λ\lambda$ 的估计值

整理上述方程：
$λ^=1n∑i=1nxi=xˉ\frac{\sum_{i=1}^{n} x_{i}}{\lambda}=n \implies \hat{\lambda}=\frac{1}{n} \sum_{i=1}^{n} x_{i}=\bar{x}$
其中 $xˉ\bar{x}$ 为样本均值，即泊松分布参数 $λ\lambda$ 的极大似然估计值等于样本均值。

6. 极大似然函数公式重申

样本类型	似然函数公式
离散型样本	$L(θ)=∏i=1np(xi;θ)L(\theta)=\prod_{i=1}^{n} p\left(x_{i} ; \theta\right)$
连续型样本	$L(θ)=∏i=1nf(xi;θ)L(\theta)=\prod_{i=1}^{n} f\left(x_{i} ; \theta\right)$