机器学习模型关于单个样本的预测值与真实值的差称为损失。损失越小，模型越好，如果预测值与真实值相等，就是没有损失。
用于计算损失的函数称为损失函数。模型每一次预测的好坏用损失函数来度量。

常用的损失函数有以下几种（引用自李航的《统计学习方法》）
1. 0-1损失函数

二类分类任务中，预测值与真实值不同，就是预测错误，则损失是1；
预测值与真实值相等，就是预测正确，损失是 0，就是没有损失。

2. 平方损失函数

预测值与真实值的差的平方。预测误差越大，损失越大。好理解吧。

3. 绝对损失函数

预测值与真实值的差的绝对值。绝对值不方便计算，一般不常用。

4. 对数损失函数

对于预测值是概率的情况，取对数损失。因为概率范围[0, 1] 所以对数值是(-∞, 0) ，为了让损失 > 0 所以取对数的负值。上面的公式里面有个负号。看图像，一目了然哈哈：