如何将误报和漏报结合到一个单一的度量中

Question

我试图测量试图检测视频中对象的计算机视觉程序的性能.我有3个不同版本的程序,它们有不同的参数.我对每个版本进行了基准测试,得到了3对(假阳性百分比,假阴性百分比).

现在我想比较各个版本,然后我想知道将误报和漏报结合到单个值中是否有意义并使用它来进行比较.例如,取方程falsePositives/falseNegatives,看看哪个更小.

Answer 1

除了@ alchemist-alArea Under the ROC Curve (AUC)提到的流行度量之外,还有一个得分结合了精度和召回(用TP/FP/TN/FN定义),称为F-measure,从0到1(0是最糟糕的,1是最好的):

F-measure = 2*precision*recall / (precision+recall)

哪里

precision = TP/(TP+FP)  ,  recall = TP/(TP+FN)

Answer 2

其他几个可能的解决方案：

-您的假阳性率 (fp) 和假阴性率 (fn) 可能取决于阈值。如果绘制 y 值为 (1-fn)、x 值为 (fp) 的曲线，则您将绘制接收者-操作者-特征 (ROC) 曲线。ROC 曲线下面积 (AUC) 是一种流行的质量衡量标准。

-如果存在某些感兴趣区域，可以对AUC进行加权

-报告等错误率。对于某个阈值，fp=fn。报告该值。