1. 熵与信息熵：从物理概念到信息度量

第一次听到"熵"这个字时，我正盯着咖啡杯里逐渐扩散的奶沫发呆。就像奶沫从有序的漩涡变成无序的混合状态，熵正是描述这种混乱程度的物理量。但在机器学习领域，我们需要关注的是它的近亲——信息熵。

信息熵的发明者香农真是个天才。1948年，这位贝尔实验室的科学家在论文中提出：信息的不确定性可以用数学公式量化。想象你收到两条消息："明天太阳会升起"和"明天会下钻石雨"，前者几乎不带来任何信息量（因为确定性太高），后者却让你震惊不已（因为概率极低）。这就是信息熵的核心思想——事件发生的概率越低，其包含的信息量越大。

具体到公式，信息熵H(X) = -ΣP(x)logP(x)。我刚开始学的时候总记不住这个负号，后来发现它其实很合理：因为概率P(x)在0到1之间，取对数后是负值，负负得正才能保证熵值非负。举个实际例子，假设有个天气预报系统：

• 晴天概率70%，雨天30%
• 信息熵 = -(0.7log0.7 + 0.3log0.3) ≈ 0.88

而当天气预测完全确定时（比如100%晴天），熵值就降为0。这就解释了为什么机器学习模型要追求降低熵——我们希望通过数据减少不确定性。

2. KL散度：衡量概率分布的"距离"

在真实项目中，我经常需要比较两个概率分布的差异。比如用户点击预测，模型输出的分布和真实数据分布到底差多远？这时候就需要KL散度（Kullback-Leibler Divergence）出场了。

KL散度的公式看起来有点吓人：DKL(P||Q) = ΣP(x)log(P(x)/Q(x))。但拆解后会发现很直观：它计算的是用Q分布近似P分布时，额外需要的信息量。记得我第一次用KL散度优化推荐系统时，发现当预测分布Q完全匹配真实分布P时，KL值确实降到了0。

不过这里有三个坑需要注意：

1. 不对称性：DKL(P||Q) ≠ DKL(Q||P)，就像从北京到上海和上海到北京的距离相同，但"分布距离"却不同
2. 非负性：KL值永远≥0，等于0时说明两个分布完全相同
3. 敏感性：当Q(x)为0而P(x)不为0时，KL值会爆表（这就是为什么实际使用时需要平滑处理）

举个例子，假设真实分布P=[0.8,0.2]，模型A输出Q1=[0.7,0.3]，模型B输出Q2=[0.9,0.1]：

• DKL(P||Q1) ≈ 0.02
• DKL(P||Q2) ≈ 0.01 这说明模型B更接近真实分布。

3. 交叉熵：KL散度的实用表亲

在实际编程中，我发现KL散度计算有点麻烦，因为需要同时知道P和Q。这时候交叉熵（Cross-Entropy）就派上用场了。从公式上看，交叉熵H(P,Q) = H(P) + DKL(P||Q)，可以理解为"真实分布的熵+近似误差"。

最神奇的是，当我们固定P分布时，最小化交叉熵等价于最小化KL散度！这就是为什么深度学习框架都直接提供交叉熵损失函数。在PyTorch里只需要两行代码：

criterion = nn.CrossEntropyLoss()
loss = criterion(predictions, labels)

我做过一个对比实验，用MNIST数据集训练CNN：

• 使用MSE损失：测试准确率85%
• 改用交叉熵损失：准确率直接跳到97%

交叉熵的优势在于：

1. 梯度友好：误差大时梯度大，误差小时梯度小，利于快速收敛
2. 概率解释：天然适配分类任务的概率输出
3. 数值稳定：配合LogSoftmax使用可避免数值溢出

4. Softmax与交叉熵的黄金组合

说到分类任务，就不得不提Softmax这个神器。记得我第一次实现手写数字识别时，发现模型输出是一些乱七八糟的数值，根本不像概率。直到加上Softmax层，所有输出突然变成了漂亮的概率分布！

Softmax的公式很优雅：σ(z)_i = e^zi / Σe^zj。它的聪明之处在于：

1. 指数放大：拉开不同类别间的差距
2. 归一化：确保所有输出之和为1
3. 可导性：便于反向传播

在PyTorch中，通常会把Softmax和交叉熵合并计算：

# 错误做法（数值不稳定）：
outputs = torch.softmax(logits, dim=1)
loss = -torch.log(outputs[range(batch_size), labels]).mean()

# 正确做法（使用内置函数）：
loss = F.cross_entropy(logits, labels)  # 已经包含Softmax

这里有个工程经验：当类别很多时（比如语言模型的几万个词），直接算Softmax会非常耗内存。这时候可以用Sampled Softmax或者Hierarchical Softmax等优化方法。

5. 实战中的调参技巧

在真实业务场景中应用这些理论时，我踩过不少坑。这里分享三个实用技巧：

批量计算技巧： 交叉熵默认会对batch取平均。如果你的样本重要性不同，可以这样加权：

weights = torch.tensor([1.0, 2.0])  # 第二类样本权重加倍
criterion = nn.CrossEntropyLoss(weight=weights)

标签平滑技术： 当标签过于绝对时（如one-hot的1和0），可以加入平滑因子防止模型过度自信：

def label_smoothing(labels, classes, epsilon=0.1):
    return (1 - epsilon) * labels + epsilon / classes

温度系数调节： 在知识蒸馏等场景中，可以通过调节Softmax的温度系数控制输出分布的平滑程度：

def softmax_with_temperature(logits, temperature):
    return F.softmax(logits / temperature, dim=1)

这些概念看似抽象，但当你在凌晨三点调试模型时，突然理解它们如何协同工作，那种顿悟的快感，正是机器学习最迷人的地方。每次看到交叉熵损失曲线稳步下降，就知道这些数学工具正在帮我们一点点揭开数据背后的真相。