一、指标解析

Top-1 错误率指预测输出的概率最高的类别与人工标注的类别相符的准确率。如果预测结果中概率最大的那个分类正确,则预测正确,否则预测错误。

Top-5 错误率是指预测输出的概率最高的前5个类别中,只要出现了正确概率(与人工标注类别一致)即为预测正确,否则预测错误。

Top-1正确率Top-5正确率,则与Top-1错误率Top-5错误率相反。

Top-1正确率是指预测输出的概率最高的类别与人工标注的类别一致的样本占总样本数的比例。换句话说,它是预测正确的样本数占总样本数的比例。

Top-5正确率是指预测输出的概率最高的前5个类别中,只要出现了正确类别(与人工标注类别一致),则该样本被视为预测正确。

Top-1正确率可以看作是在Top-5正确率的基础上,对预测结果的进一步约束,要求模型在输出多个可能类别的情况下,能够更加准确地预测正确类别。

二、计算公式

Top-1 错误率 =(所有测试图片中正确标签不在模型输出的最高分类概率中的个数)/(总的测试图片数)
Top-5 错误率 =(所有测试图片中正确标签不在模型输出的前5个概率中的个数)/(总的测试图片数)

同理

Top-1 正确率 =(所有测试图片中正确标签包含在模型输出的最高分类概率中的个数)/(总的测试图片数)
Top-5 正确率 =(所有测试图片中正确标签包含在模型输出的前5个分类概率中的个数)/(总的测试图片数)

三、实例理解

例1:
假设我们有一个图像分类任务,目标是将图像分类为猫、狗、鸭三类。现在有一张图片,人工标注的类别是“猫”,但是通过模型预测输出的预测结果是“鸭”,那么对于这个预测结果:
Top-1错误率就是100%(因为最可能的结果是错误的),而Top-5错误率可能是0%(因为有可能模型预测的前5个结果中包含了正确答案“猫”)。

例2:
设有一个10个类别的数字图片集,类别分别是0,1,2,3,4,5,6,7,8,9
假设测试图片共 3 张:

测试图 片1为:2,人工标注标签:2
测试图 片2为:3,人工标注标签:3
测试图 片3为:5,人工标注标签:5

测试图片全部输入模型,得到:
测试图片1的前5个概率向量最大的标签:2,3,5,8,0 (最佳标签为 2)
测试图片2的前5个概率向量最大的标签:1,5,6,8,9 (最佳标签为 1)
测试图片3的前5个概率向量最大的标签:0,5,7,2,8 (最佳标签为 0)

则可以计算

Top-1 错误率 = 2/3
Top-5 错误率 = 1/3

同理

Top-1 正确率 = 1/3
Top-5 正确率 = 2/3

四、小结

1、通常的,Top-1 和 Top-5 的错误率越低(或正确率越高),模型的性能就越好。

2、一般的,Top-5 的错误率在数值上会比 Top-1 错误率的数值小。因为从 5 个预测结果里,分类对的概率往往比从 1 个结果里分类对的概率大。

Logo

分享最新、最前沿的AI大模型技术,吸纳国内前几批AI大模型开发者

更多推荐