交叉熵在深度学习中是常用的一个概念，是分类任务的基础损失函数，现代计算机视觉、自然语言处理模型训练的基石。可见交叉熵在深度学习中占着核心地位，本章详细讲解交叉熵完整体系概念公式推导过程： 信息量 →信息熵→ 相对熵（KL 散度） → 交叉熵推导 → 交叉熵损失函数 → 最大似然 →深度学习损失

交叉熵 Cross-Entropy

信息量

信息量来衡量一个事件的不确定性，一个事件发生的概率越大，不确定性越小，则其携带的信息量就越小。

设$X$是一个离散型随机变量，其取值为集合$X=x_0,x_1,\dots ,x_n$，则其概率分布函数为$p(x)$

则定义事件$X=x_0$ 的信息量为：

$I(x_0)=-\log p(x_0)$ 当$p(x_0)=1$时表示该事件必定发生，其信息量为0。

• $P(x_i)\downarrow ⟹I(x_i)\uparrow$ ，其中 $p(x0)$概率越小 ，信息量越大

• $P(x_i)\uparrow ⟹I(x_i)\downarrow$ ，其中 $p(x0)$概率越大，信息量越少

• 公式推导： 指数 $y=a^x$ ，$1<a$ ，$y\in (0,1]$ ，求$x$的取值范围？当$0<=n$时 有： $\frac{1}{a^n}\in (0,1]=>a^{-n}\in (0,1]$ ，$x$取值范围 $x\in (-\infty ,0]$

信息量是衡量某个事件的不确定性，而熵是衡量一个系统（所有事件）的不确定性。

信息熵

熵用来衡量一个系统的混乱程度，代表系统中信息量的总和；熵值越大，表明这个系统的不确定性就越大。

熵就是所有事件信息量的概率加权平均, 即信息量的期望$H(x)=\mathbb{E}[I(x)]=-{\sum }_{i=i}^{n}p(x_i)\log (p(x_i))$，其中$p(x_i)$ 表示事件的概率，$-\log p(x_i)$ 表示事件的信息量。

信息熵公式(香农熵公式)：$H(x)=-{\sum }_{i=i}p(x_i)\log p(x_i)$

熵是信息量的期望值，是一个随机变量不确定性的度量，熵值越大，随机变量的取值就越难确定，系统也就越不稳定；熵值越小，随机变量的取值也就越容易确定，系统越稳定。

相对熵

相对熵也称为KL散度，表示同一个随机变量的两个不同分布间的距离，定义： 设 $P(x)$ 是真实分布，$Q(x)$ 是近似 / 模型分布，两者定义域相同。

相对熵公式： $D_{KL}(P||Q)={\sum }_{i}P(x_i)\log \frac{P(x_i)}{Q(x_i)}$

• 如果$P(x_i)$和$Q(x_i)$ 概率分布相同，则其相对熵等于0

• $D_{KL}(P||Q)\ne D_{KL}(Q||P)$ 也就是相对熵不具有对称性。

• $D_{KL}(P||Q)>0$

总的来说，相对熵是用来衡量同一个随机变量的两个不同分布之间的距离。

公式推导： $D_{KL}(P||Q)={\sum }_{i}P(x_i)\log \frac{P(x_i)}{Q(x_i)}={\mathbb{E}}_{x\sim \mathbb{P}}\log \frac{P(x)}{Q(x)}={\mathbb{E}}_{x\sim \mathbb{P}}[\log P(x)-\log Q(x)]={\mathbb{E}}_{x\sim \mathbb{P}}[\log P(x)]-{\mathbb{E}}_{x\sim \mathbb{P}}[\log Q(x)]$

公式推导结果: $D_{KL}(P||Q)={\mathbb{E}}_{x\sim \mathbb{P}}[\log P(x)]-{\mathbb{E}}_{x\sim \mathbb{P}}[\log Q(x)]={\sum }_{i}P(x_i)\log P(x_i)-{\sum }_{i}P(x_i)\log Q(x_i)$

• $x\sim P$ 表示$x$ 只能取分布 $P$ 定义内的数值，不会出现规则外的值，称 $x$服从分布 $P$

• $P(x_i)$ 固定概率权重

• 全部概率总和为 1，${\sum }_{x}P(x_i)=1$

• 计算期望必须用 $P$ 加权 , $P(x_i)$作为概率质量函数（连续型随机变量（概率密度函数）

交叉熵

1. KL散度公式: $D_{KL}(P||Q)={\sum }_{i}P(x_i)\log P(x_i)-{\sum }_{i}P(x_i)\log Q(x_i)$

2. 信息熵公式： $H(x)=-{\sum }_{i=i}p(x_i)log(p(x_i))$ 带入KL散度公式

3. KL散度公式: $D_{KL}(P||Q)=-H(P)-{\sum }_{i}P(x_i)\log Q(x_i)$

4. $-{\sum }_{i}P(x_i)\log Q(x_i)$ 是交叉熵公式记： $H(P,Q)=-{\sum }_{i}P(x_i)\log Q(x_i)$

5. KL散度公式: $D_{KL}(P||Q)=H(P,Q)-H(P)$

6. 大白话： KL 散度 = 交叉熵 − 信息熵(真实熵)。

例子

• 信息熵 - 概率分布 $P(x_1)=0.50，P(x_2)=0.30，P(x_3)=0.20$

• 信息量 $I(x_1)=-\log P(x_1)=-\log (0.50)=0.30$

• 信息量 $I(x_2)=-\log P(x_2)=-\log (0.30)=0.52$

• 信息量 $I(x_3)=-\log P(x_3)=-\log (0.20)=0.69$ 信息熵$H(x)$: $H(x)=-{\sum }_{i=i}P(x_i)\log P(x_i)=0.5\ast 0.3+0.3\ast 0.52+0.2\ast 0.69=0.444$

• 交叉熵- 概率分布 $Q(x_1)=0.10，Q(x_2)=0.20，Q(x_3)=0.70$

• 信息量 $I(x_1)=-\log Q(x_1)=-\log (0.10)=1.0$

• 信息量 $I(x_2)=-\log Q(x_2)=-\log (0.20)=0.69$

• 信息量 $I(x_3)=-\log Q(x_3)=-\log (0.70)=0.15$交叉熵$H(x)$: $H(P,Q)=-{\sum }_{i=i}P(x_i)\log Q(x_i)=0.5\ast 1.0+0.3\ast 0.69+0.2\ast 0.15=0.737$

KL 散度 = 交叉熵 − 信息熵(真实熵) $D_{KL}(P||Q)=H(P,Q)-H(P)=0.737-0.444=0.293$

交叉熵损失函数

KL 散度 $D_{KL}(P||Q)=H(P,Q)-H(P)$

• $P$ 真实标签(概率)分布（固定不变，与模型参数无关）$H(P)$ 是常数

• $Q$ 模型输出的预测分布

• 最小化 KL 散度等价于最小化交叉熵 $H(P,Q)$，因此深度学习直接用交叉熵做损失。

• 交叉熵损失函数：$H(P,Q)=-{\mathbb{E}}_{x\sim \mathbb{P}}[\log Q(x)]=-{\sum }_{i=i}P(x_i)\log Q(x_i)$

多分类交叉熵

多分类任务中输出的是目标属于每个类别的概率，所有类别概率的和为1，其中概率最大的类别就是目标所属的分类。 而softmax 函数能将一个向量的每个分量映射到[0,1] 区间，并且对整个向量的输出做了归一化，保证所有分量输出的和为1，正好满足多分类任务的输出要求。

softmax公式

• 输入向量 $z=[x_1,x_2,...,x_n]$，共有$N$个元素

• $a_i=softmax(z{)}_i=\frac{exp(x_i)}{{\sum }_{j=1}^{N}exp(x_j)}$ ，其中 $e^x=exp(x)$

• $a_i$ 输出 $a\in (0,1)$

改进版 $softmax(z{)}_i=\frac{exp(x_i-max(z))}{{\sum }_{j=1}^{N}exp(x_j-max(z))}$

$softmax(z)$将输入向量转换成概率分布 把它当作交叉熵$Q$预测分布

多分类

• 向量经过$softmax$函数处理输出 $Q$预测概率分布,真实熵$P$ 设定一个独热向量 $p=[x_1,x_2,...x_n]$ 假设类别$k$ 则$x_k=1$其他都是$x_x=0$

• 交叉熵损损失函数：$H(P,Q)=-{\sum }_{i=i}P(x_i)\log Q(x_i)$因$P$是独热向量 $P(x_k)=1$

• 交叉熵损失函数公式： $H(P,Q)=-P(x_k)\log Q(x_k)=-\log Q(x_k)$，单个样本损失：$l_k=-\log Q(x_k)$

• 平均损失函数公式： $l=-\frac{1}{N}{\sum }_i^N\log Q(x_i)$

二分类

只有两类，损失函数公式：$H(P,Q)=-{\sum }_{i=i}P(x_i)\log Q(x_i)=-[p_0\log Q(x_0)+p_1\log Q(x_1)]$，$p_0$和$p_1$表示 类别0，类别1的概率，$p_0+p_1=1$ ，$Q(x_0)+Q(x_1)=1$

• 简化公式 令： $p_0=y$ ，则 $p_1=1-y$

• 简化公式 令: $Q(x_0)=\hat{y}$ ，则 $Q(x_1)=1-\hat{y}$ 带入原公式

• $H(P,Q)=-[y\log \hat{y}+(1-y)\log (1-\hat{y})]$

最大似然估计 MLE

原式似然函数

• 最大似然： 寻找参数 $\mathbf{\theta }$，使得当前观测到的这批样本出现的概率最大。用个例子来说明这个概念

抛硬币例子

1. 假设硬币正面概率为 $\theta$，单个样本概率函数 $p(x;\theta )=\theta$

2. 做实验：连续抛 3 次，结果：正、正、反（观测数据固定不变）。

3. 联合概率(似然): $l(\theta )=\theta \ast \theta \ast (1-\theta )={\theta }^2(1-\theta )$

4. 求$\theta =?$ 值是多少时， $l(\theta )$值达到顶峰。

5. 假设$\theta =0.5$ ，$l(\theta =0.5)=0.5^2(1-0.5)=0.125$

6. 假设$\theta =0.7$ ，$l(\theta =0.7)=0.7^2(1-0.7)=0.147$

7. $\theta =0.7$ 比 $\theta =0.5$， $l(\theta )$值更好，其实最优解是$\theta =\frac{正面次数}{总次数}=\frac{2}{3}=0.667$ ，$l(\theta =0.667)=0.667^2\ast 0.333=0.148$ 顶峰

• $p(x;\theta )$ 是样本概率函数,$\theta$是参数，生成概率函数如 $p(x;u,{\delta }^2)=\frac{1}{\sqrt{2\pi \delta }}\exp (-\frac{(x-u{)}^2}{2{\delta }^2})$ 此时 $\theta =u,{\delta }^2$

似然函数 $L(\theta )=p(\mathbf{x};\theta )={\prod }_{i=1}^{m}p(x_i;\theta )$ 其中${\prod }_{i=1}^m$表示连续相乘

对数似然函数

• 很多个小于 1 的小数不停相乘， 计算机浮点数精度有限，取对数之后 累乘 → 累加

• 数学求导极大简化 对数性质：$\ln (ab)=\ln a+\ln b$

• 优化目标等价,最大化似然 等于 最大化对数似然，最优参数完全不变，不会改变求解结果

• 完美对接深度学习损失函数

对数似然推导

1. $L(\theta )={\prod }_{i=1}^{m}p(x_i;\theta )$ 等式两边同时取自然对数 $\ln$

2. $\ln L(\theta )=\ln {\prod }_{i=1}^{m}p(x_i;\theta )$ ， 对数性质：乘积的对数 = 对数相加 $\ln {\prod }_{i=1}^{m}p(x_i;\theta )={\sum }_{i=1}^m\ln p(x_i;\theta )$

3. $\ln L(\theta )={\sum }_{i=1}^m\ln p(x_i;\theta )$ ，定义对数似然 $\ell (\theta )$

4. $\ell (\theta )=lnL(\theta )={\sum }_{i=1}^{m}p(x_i;\theta )$

对数似然：$\ell (\theta )={\sum }_{i=1}^m\ln p(x_i;\theta )$

转为深度学习损失

机器学习使用梯度下降最小化目标，但我们目标是最大化 $\ell (\theta )$

• 最大化 $\ell (\theta )$ $⟺$ 最小化 $-\ell (\theta )$

• $\ell (\theta )=-{\sum }_{i=1}^m\ln p(x_i;\theta )$

• 批量训练一般再除以样本数量做平均

• $\ell (\theta )=-\frac{1}{m}{\sum }_{i=1}^m\ln p(x_i;\theta )$

最大似然估计MLE 公式： $\ell (\theta )=-\frac{1}{m}{\sum }_{i=1}^m\ln p(x_i;\theta )$

求最大似然估计值（标准 MLE 求解方法）

抛硬币例子

• MLE公式 $\ell (\theta )=-\frac{1}{m}{\sum }_{i=1}^m\ln p(x_i;\theta )$
• 概率函数 $p(x;\theta )=\theta$ ，抛 3 次$m=3$ ，测数据[正、正、反]=$[\theta ,\theta ,1-\theta ]$ 带入MLE公式
• $\ell (\theta )=-\frac{1}{3}[\ln \theta +\ln \theta +\ln (1-\theta )]=-\frac{1}{3}[2\ln \theta +\ln (1-\theta )]$
• 对 $\ell (\theta )$求导 , $\ln x$ 求导公式 $\frac{d}{dx}\ln x=\frac{f(x{)}^{\prime }}{f(x)}$
• $\ell (\theta {)}^{\prime }=-\frac{1}{3}[\frac{2}{\theta }-\frac{1}{1-\theta }]$
• 极小值条件令导数 $=0$
• $-\frac{1}{3}[\frac{2}{\theta }-\frac{1}{1-\theta }]=0=>\frac{2}{\theta }-\frac{1}{1-\theta }=0$ 解方程求出$\theta$
• $\frac{2}{\theta }=\frac{1}{1-\theta }=>\theta =2-2\theta$
• $\theta =\frac{2}{3}$