如何计算失败的接受率和错误识别率？

Question

如何计算认证设备的FAR和FRR？(我假设使用的是生物识别技术).否则,他们对该主题的任何统计数据都很容易获得？

Answer 1

生物识别系统可以在两种模式下工作,在评估过程中必须区分:验证和识别.

在验证模式下,用户显示他的身份,生物识别设备验证身份是否匹配(想象您去海关,并且您使用面部图像呈现您的身份证,该官员验证您的真实面部和身份证上的图像).

在识别模式中,在开始时不进行身份假设,并且必须与所有模板进行比较(例如,杀手在犯罪现场留下他的指纹,然后警察使用他的指纹识别他 - 没有做出任何假设,他们只需使用获取的指纹,并将其与数据库中的所有指纹进行比较).

因此有必要区分这两种情况,因为识别通常要求更高.

让我们假设您正在评估生物识别系统的验证模式.想象一下生物识别系统,它将所有身份验证尝试从区间[0,1]中分配出来.0表示不匹配,1表示完全匹配.显然,如果您将阈值设置为0,则允许所有真正的用户,但所有冒名顶替者也被录取.另一方面,如果您将阈值设置为1,则不允许任何人进入.因此,对于实际使用,您通常将阈值设置在介于两者之间.这可能会导致并非所有真正的用户都被录取,并且一些冒名顶替者被录取.如您所见,有两种错误率:FAR(错误接受率)和FRR(错误拒绝率).

FAR计算为冒名顶替分数超过阈值的一小部分.

FRR计算为真实分数低于您的阈值的一小部分.

示例:我们有一个指纹系统.为了评估任何生物识别系统的性能,我们需要收集一个数据库.假设我们已经这样做了,数据库由10个合法用户(USER_1-USER_10)组成,每个用户提供他的手指10次(10x10 =总共100个图像).让我们假设,单个图像足以用于模板创建.您选择一个用户(例如USER_1)和一个他的指纹图像并创建模板.您用来验证指纹的其余图像,您将获得9个真实分数.您用作冒名顶替者的其他用户的所有图像,您将获得90个冒名顶替者分数.您为所有图像和所有用户重复模板生成,总共可获得900个真实分数和9000个冒名顶替分数.这些分数通常用于生成所谓的ROC曲线,以选择最佳阈值来缓解您的问题.如果您选择了阈值,则可以使用上述定义计算FAR和FRR.

让我们假设,我们选择了0.7和100个冒名顶替分数超过阈值,50个真实分数低于阈值.

因此FAR = 1.1%,FRR = 5.6%.

Answer 2

FAR 和 FRR 始终针对特定人群进行计算。这是使用 FAR 和 FRR 来衡量绩效的缺点之一，除非您有一致的比较对象。

例如，如果我的人口由我和另外两个人组成，那么我错误接受的几率非常低，可能为 0%，并且我的错误拒绝率（假设我能够可靠地捕获可用样本）也将非常低低，可能为 0%，如果没有数据库大小的背景，这将是非常令人印象深刻的。

为了准确地测试系统，我建议您了解该特定类型的身份验证的标准是什么。例如，在指纹匹配中，NIST 有一个图像数据库，用于测量不同的算法。有许多算法都是根据该数据库进行测量的，因此您可以将苹果与苹果进行比较。如果您没有跨算法的相同数据库，那么您正在将苹果与橙子进行比较（如果这是有意义的）。