评估和计算前N个准确度:前1名和前5名

Question

我发现了一些关于使用Top-N方法评估准确性的期刊论文(机器学习分类问题).数据显示,在相同的训练,测试条件下,前1精度= 42.5%,前5精度= 72.5%.我想知道如何计算前1和前5的百分比？

有人能给我看一些例子和步骤来计算吗？

谢谢

Answer 1

前1准确度是传统的准确度:模型答案(概率最高的答案)必须完全符合预期答案.

前5个准确度意味着您的任何模型5最高概率答案必须与预期答案匹配.

例如,假设您正在使用神经网络将机器学习应用于对象识别.显示了猫的图片,这些是您的神经网络的输出:

使用前1精度,您将此输出计为错误,因为它预测了一只老虎.

使用前5精度,您可以将此输出计为正确,因为cat是前5个猜测之一.

非常感谢 !这是一个很好的解释和例子. (4认同)
@JonathonReinhart 可能有点晚了，但大多数大型模型都是在 ImageNet 数据集上训练的，包含 1000 个可能的类，因此实际上，对模型在 Top-5 中的表现进行推断是非常现实的，因为它缩小了其他模型的范围995 个可能的类别。但是，如果您只有 10 个课程，那么 Top-5 就没用了。 (4认同)
谢谢你的回答.在您看来,Top-5真的是一个很好的指标,还是夸大神经网络的真正能力？如果我失明了,并要求别人告诉我在我面前的动物是什么,我会期待"它是一只猫",而不是"它是虎,狗,猫,天猫或狮子". (3认同)
高于或等于 (3认同)
我认为前5个指标是有用的,除了其他原因,因为图片可以有多个对象...... (2认同)
所以我们可以说top-5精度将始终高于Top-1精度 (2认同)

Answer 2

准确率的补充是错误，top-1 错误是分类器没有给出正确类别最高概率分数的时间百分比。Top-5 错误：- 分类器在前 5 个概率或猜测中未包含正确类别的时间百分比。