为了更好的理解交叉熵的意义，先介绍一下相对熵的概念

1、相对熵

• 基本概念
  相对熵又称为KL散度（Kullback–Leibler divergence），用来描述两个概率分布的差异性。假设有对同一变量$x$的$q(x)$和$p(x)$两个概率分布,那么两者之间的相对熵可由以下定义：
  $$D_{KL}(p\Vert q)=\sum _{i=1}^{N}p\left(x_i\right)\log \left(\frac{p\left(x_i\right)}{q\left(x_i\right)}\right)$$
  对于实际应用，$p(x)$是目标分布，$q(x)$是预测的匹配分布。

• 理解相对熵（参考）
  因为$p(x)$是目标分布，所以用$p$来表示该事件是最好的。但是现在用了$q(x)$，多了一些不确定性因素，这个增加的信息量就是相对熵。

• 性质
  相对熵有一个性质：两个分布差异越大，KL散度越大。实际应用需要两个分布尽可能的相等，于是就需要KL散度尽可能的小。

• 相对熵的非负性
  根据Jensen不等式，当$f$是一个凸函数时，满足以下函数：
  $$f\left({\theta }_1{x}_1+\dots +{\theta }_n{x}_n\right)\le {\theta }_{1}f\left(x_1\right)+\dots +{\theta }_{n}f\left(x_n\right),0\le {\theta }_i\le 1,{\theta }_1+\dots +{\theta }_n=1$$
  对照相对熵的表达式，这里做几个映射关系:

Jensen不等式	相对熵
${\theta }_i$	$p(x_i)$
$x_i$	$\frac{q\left(x_i\right)}{p\left(x_i\right)}$
$f()$	$-log()$
根据上表中的关系得到下式：$$D_{KL}(p|q)=\sum _{i=1}^{N}p\left(x_i\right)\log \left(\frac{p\left(x_i\right)}{q\left(x_i\right)}\right)=\sum _{i=1}^{N}p\left(x_i\right)\cdot -\log \left(\frac{q\left(x_i\right)}{p\left(x_i\right)}\right)\ge -\log \left(\sum _{i=1}^{N}p\left(x_i\right)\cdot \frac{q\left(x_i\right)}{p\left(x_i\right)}\right)=0$$
显然，只有当$q(x)$=$p(x)$时，$D_{KL}(p|q)$才有最小值，这也意味着预测的越相近越好。

• 与交叉熵的关系
  $$D_{KL}(p\Vert q)=\sum _{i=1}^{N}p\left(x_i\right)\log \left(\frac{p\left(x_i\right)}{q\left(x_i\right)}\right)=\sum _{i=1}^{N}p\left(x_i\right)\log p\left(x_i\right)-\sum _{i=1}^{N}p\left(x_i\right)\log q\left(x_i\right)=-H(p)+H(p,q)$$
  上式中的$H(p,q)$，而当一个目标事件确定后，$H(p)$便为一个常数，所以最小化相对熵的问题化简成了计算$H(p,q)$的最小值。

2、交叉熵

• 简单概念
  交叉熵是信息熵论中的概念，它原本是用来估算平均编码长度的。在深度学习中，可以看作通过概率分布$q(x)$表示概率分布$p(x)$的困难程度。其表达式为：
  $$H(p,q)=\sum _{i=1}^{n}p\left(x_i\right)\log \frac{1}{q\left(x_i\right)}=-\sum _{i=1}^{n}p\left(x_i\right)\log q\left(x_i\right)$$
• 简单性质
  交叉熵刻画的是两个概率分布的距离，也就是说交叉熵值越小（相对熵的值越小），两个概率分布越接近。
  因为上面说到，当$q(x)$=$p(x)$时，$D_{KL}(p\Vert q)$才有最小值，即下式取等号。

$$D_{KL}(p\Vert q)=-H(p)+H(p,q)\ge 0\Rightarrow H\left(p,q\right)\ge H\left(p\right)$$

下面将给出两个具体样例来直观地说明通过交叉熵可以判断预测答案和真实答案之间的距离。假设有个三分类问题，某个正确答案和一个经过$softmax$回归后的预测答案如下：

	$x_1$	$x_2$	$x_3$
$p(x_i)$	1	0	0
$q_1(x_i)$	0.5	0.4	0.1
$q_2(x_i)$	0.8	0.1	0.1

那么$p(x)$与$q_1(x)$的交叉熵为：（log计算取10为底，即lg）
$$\mathrm{H}((1,0,0),(0.5,0.4,0.1))=-(1\times \log 0.5+0\times \log 0.4+0\times \log 0.1)\approx 0.3$$
$p(x)$与$q_2(x)$的交叉熵为：
$$\mathrm{H}((1,0,0),(0.8,0.1,0.1))=-(1\times \log 0.8+0\times \log 0.1+0\times \log 0.1)\approx 0.1$$
从直观上可以看到第二个预测的结果要优于第一个，并且通过计算交叉熵，结果也是一致的。

• TensorFlow中实现交叉熵

cross_entropy = -tf.reduce_mean( y_ * tf.log(tf.clip.by_value(y, 1e-10, 1.0)))
复制

其中y_代表正确结果，y代表预测结果。

3、Logistic回归风险函数与交叉熵

在Logistic回归任务中，常见的输出定义为：
$$\hat{y}=\sigma \left(w^{T}x+b\right),where\sigma \left(z\right)=\frac{1}{1+e^{-z}}$$
定义$y=1$的例子的后验概率为
$$P(y=1|x)=\hat{y}=\sigma \left(w^{T}x+b\right)$$
以及$y=0$的例子的后验概率为
$$P(y=0|x)=1-\hat{y}=1-\sigma \left(w^{T}x+b\right)$$
那么可以定义后验概率$P(y|x)$如下：
$$P\left(y|x\right)={\hat{y}}^y{\left(1-\hat{y}\right)}^{\left(1-y\right)}$$
回归的目标应为该后验概率越大越好，根据最大似然估计，在所有样本满足独立同分布的情况下，可以确定一组参数使得上述概率最大。

因为$log$函数是单调递增函数，所以求上述函数的最大化，等价于求$log(P(y|x))$的最大化。

对上述概率对数化可得：
$$\log \left(P\left(y|x\right)\right)=y\log \left(\hat{y}\right)+\left(1-y\right)\log \left(1-\hat{y}\right)$$
即逻辑回归的目标是最大化上述函数。对于代价函数来说，一般都是最小化函数，所以可以增加一个负号。那么，对于$m$个样本来说，代价函数即为交叉熵函数：
$$J\left(w,b\right)=-\sum _{i=1}^m\left(y\log \hat{y}+\left(1-y\right)\log \left(1-\hat{y}\right)\right)$$

4、Pytorch中CrossEntropy的形式

pytorch中torch.nn模块和torch.nn.functional中均有对应的交叉熵的模块，但是两者是相通的。不过torch.nn.functional中可以理解为是一个接口，而torch.nn是具体类的定义。这里仅用nn.functional的应用来简单说一下怎么用交叉熵，有关torch.nn和torch.nn.functional的相关讨论可以参考知乎问题：PyTorch 中，nn 与 nn.functional 有什么区别？

1. torch.nn.functional.cross_entropy

首先，看定义代码为

def cross_entropy(input, target, weight=None, size_average=None, ignore_index=-100,
                  reduce=None, reduction='mean'):
    # type: (Tensor, Tensor, Optional[Tensor], Optional[bool], int, Optional[bool], str) -> Tensor

    if size_average is not None or reduce is not None:
        reduction = _Reduction.legacy_get_string(size_average, reduce)
    return nll_loss(log_softmax(input, 1), target, weight, None, ignore_index, None, reduction)
复制

看上面代码也能知道input和target是必选项，并且是Tensor类型的。最后一行说明functional.cross_entropy实际计算过程就是先计算Tensor的log_softmax，然后再计算nll_loss。

那么问题来了，log_softmax是怎么计算的，干了些什么，用上面表格的数据来举例来说：

Tensor的log_softmax函数和functional的函数作用一样，都是先对数据进行softmax，然后进行log函数，这里的log以e为底，即ln。log_softmax和softmax中的数字表示按照什么维度计算。0代表按列计算，softmax函数计算后的数据按列加起来为1；1代表按行计算，softmax函数计算后的数据按行加起来为1。

import torch.nn.functional as F
import torch
truth = torch.tensor([[1, 0, 0]], dtype=torch.float)
predicted1 = torch.tensor([[0.5, 0.4, 0.1]], dtype=torch.float)
print(truth.softmax(0))
print(truth.softmax(1))
print(F.log_softmax(predicted1, 1))
print(truth.log_softmax(-1))
复制

上面代码的输出结果为：

tensor([[1., 1., 1.]])
tensor([[0.5761, 0.2119, 0.2119]])
tensor([[-0.9459, -1.0459, -1.3459]])
tensor([[-0.5514, -1.5514, -1.5514]])
复制

第一行的输出结果可以理解，按照列计算只有一个数据，所以计算后每列的只有1个1。
第二行的输出结果可以通过计算得到：

$$\begin{gathered} \frac{e^1}{e^1+e^0+e^0}=\frac{e}{e+2}=0.5761 \\ \frac{e^0}{e^1+e^0+e^0}=\frac{1}{e+2}=0.2119 \\ \frac{e^0}{e^1+e^0+e^0}=\frac{1}{e+2}=0.2119 \end{gathered}$$
第四行的输出结果通过计算得到：
$$\begin{gathered} \ln \left(0.5017\right)=-0.5514 \\ \ln \left(0.2491\right)=-1.5514 \\ \ln \left(0.2491\right)=-1.5514 \end{gathered}$$

知道了log_softmax是干嘛的，现在来了解nll_loss是干嘛的。

truth = torch.tensor([0], dtype=torch.int64)
predicted1 = torch.tensor([[0.5, 0.4, 0.1]], dtype=torch.float)

loss = nn.NLLLoss()

print(F.log_softmax(predicted1, 1))
print(loss(F.log_softmax(predicted1, 1), truth))
print(F.cross_entropy(predicted1, truth))
复制

上面的输出结果为：

tensor([[-0.9459, -1.0459, -1.3459]])
tensor(0.9459)
tensor(0.9459)
复制

可以看到truth中的值就是log_softmax结果后的数组的idx，即truth的0对应-0.9459的位置，将-0.9459取出后取负数便为NLLLoss的结果。同样地，若truth的值为1，那么第二行和第三行的输出结果为1.0459。

2. torch.nn.functional.binary_cross_entropy

	def binary_cross_entropy(input, target, weight=None, size_average=None,
                         reduce=None, reduction='mean'):
    # type: (Tensor, Tensor, Optional[Tensor], Optional[bool], Optional[bool], str) -> Tensor
复制

用上面的数据，先来个例子

import torch.nn as nn
import torch.nn.functional as F
import torch
truth = torch.tensor([[1, 0, 0]], dtype=torch.int64)
predicted1 = torch.tensor([[0.5, 0.4, 0.1]], dtype=torch.float)
predicted2 = torch.tensor([[0.8, 0.1, 0.1]], dtype=torch.float)
print(F.binary_cross_entropy(predicted1, truth.float()))
print(F.binary_cross_entropy(predicted2, truth.float()))
复制

上面代码的输出结果为：

tensor(0.4364)
tensor(0.1446)
复制

这个计算过程比较简单（呦呵，这公式编辑的咋分不开了呢）：
$$\begin{gathered} -\frac{1}{3}\left(y\log \hat{y}+\left(1-y\right)\log \left(1-\hat{y}\right)\right)=-\frac{1}{3}\times \left(\log \left(0.5\right)+\log \left(1-0.4\right)+\log (1-0.1)\right)=0.4364 \\ -\frac{1}{3}\left(y\log \hat{y}+\left(1-y\right)\log \left(1-\hat{y}\right)\right)=-\frac{1}{3}\times \left(\log \left(0.8\right)+\log \left(1-0.1\right)+\log (1-0.1)\right)=0.1446 \end{gathered}$$

3. torch.nn.functional.binary_cross_entropy_with_logits

def binary_cross_entropy_with_logits(input, target, weight=None, size_average=None,
                                     reduce=None, reduction='mean', pos_weight=None):
    # type: (Tensor, Tensor, Optional[Tensor], Optional[bool], Optional[bool], str, Optional[Tensor]) -> Tensor
复制

这个函数在计算上一个函数之前，对input参数做了sigmoid计算。来看个例子：

import torch.nn as nn
import torch.nn.functional as F
import torch
truth = torch.tensor([[1, 0, 0]], dtype=torch.int64)
predicted1 = torch.tensor([[0.5, 0.4, 0.1]], dtype=torch.float)
predicted2 = torch.tensor([[0.8, 0.1, 0.1]], dtype=torch.float)
print(F.binary_cross_entropy_with_logits(predicted1, truth.float()))
print(F.binary_cross_entropy_with_logits(predicted2, truth.float()))
复制

代码的输出结果为：

tensor(0.7105)
tensor(0.6200)
复制

不解释了，看下面代码

truth = torch.tensor([[1, 0, 0]], dtype=torch.int64)
predicted1 = torch.tensor([[0.5, 0.4, 0.1]], dtype=torch.float).sigmoid()
predicted2 = torch.tensor([[0.8, 0.1, 0.1]], dtype=torch.float).sigmoid()
print(F.binary_cross_entropy(predicted1, truth.float()))
print(F.binary_cross_entropy(predicted2, truth.float()))
复制

输出结果：

tensor(0.7105)
tensor(0.6200)
复制