Aru*_*iRC 8 image-processing biometrics face-recognition computer-vision
场景:
在封闭式人脸识别中,如果我们在一个图库集中有10个人,那么查询图像将来自这10个人中.因此,每个查询将分配给10个人中的一个.
在开放式人脸识别中,查询人脸可能来自画廊中10人以外的人.这些额外的人被称为" 干扰者 ".可以在IJB-A挑战中找到示例任务.
题:
假设我为10个身份中的每一个训练了一个SVM(一个对所有人).我如何在开放式方案中报告准确性？如果查询图像X进来,我的模型将始终将其识别为我的图库中的10个人中的一个,尽管如果该人不在图库中的10个人中,则得分较低.因此,当将精度报告为%时,每个干扰物查询图像将给出0准确度,从而降低使用其正确标识标记每个查询图像的总体准确性.
这是在开放式协议上报告识别准确性的正确方法吗？或者是否有一种标准方法来设置分类分数的阈值,并说"查询图像X对于Gallery中的每个身份都有低分,因此我们知道它是一个干扰图像,我们在计算识别时不会考虑这个准确性"
最后,需要注意的是:这特别针对生物识别和人脸识别.然而,SO提供了最一致的答案,并且极有可能在SO处找到活跃于视觉和图像处理标签的生物识别人员,这就是我在这里问这个问题的原因.
在阅读了一些NIST 协议作为参考后，自我回答[第 4 节]：
在开放集场景中，需要报告两个性能指标：CMC和DET。
累积匹配特征或 CMC 曲线仅使用匹配图像来计算，即使用来自图库集中存在的主题列表的探测或测试集中的那些图像。CMC 报告不同等级 1、2、...#classes 的召回值。
决策误差权衡或 DET 曲线用于量化系统在拒绝“冒名顶替者”或“干扰者”方面的表现。每个 Gallery 身份有一个 SVM。因此，对于每个查询图像，都会有#identity 分数（对于图库中的 50 个身份，我们将有 50 个 SVM 给出 50 个分数）。从 SVM 分数中取出最大值将显示输入图像与图库身份集的一部分的接近程度。然后使用这些分数绘制 DET 曲线，这与用于验证的 ROC 曲线非常相似。轴是假阳性识别率 (FPIR) 与假阴性识别率 (FNIR)。