使用交叉验证来计算特异性

Question

我想使用交叉验证来计算特异性。我找到了计算准确度、f1 分数和精度的代码。但我找不到具体的。例如，f1-score 的代码如下：

cross_val_score(SVC, X, y, scoring="f1", cv = 7)

或者对于精度来说是这样的：

cross_val_score(SVC, X, y, scoring="precision", cv = 7)

Answer 1

特异性基本上是真实负例率，与真实正例率（召回率）相同，但针对负类

如果你有一个二进制类，你应该执行以下操作

• recall_score从metrics（详细信息此处）导入指标和make_scorer函数

  from sklearn.metrics import recall_score
  from sklearn.metrics import make_scorer
  

• 然后生成新的记分器，定义要计算召回率的类别（默认情况下，召回率是在标签 = 1 上计算的）

  specificity = make_scorer(recall_score, pos_label=0)
  

标签 0 通常是二元问题中的负类。

print(cross_val_score(classifier, X_train, y_train, cv=10, specificity))

如果你想要召回率（真阳性率），你可以做同样的改变类别

sensitivity = make_scorer(recall_score, pos_label=1)
print(cross_val_score(classifier, X_train, y_train, cv=10, sensitivity))

无论如何，如果您需要更复杂的东西，您可以制作自定义记分器

make_scorer