来自 scikits cross_val_score 的所有类的 f1 分数

Question

我正在使用cross_val_scorefrom scikit-learn (package sklearn.cross_validation) 来评估我的分类器。
如果我f1用于scoring参数，该函数将返回一个类的 f1 分数。为了获得我可以使用的平均值，f1_weighted但我不知道如何获得其他班级的 f1 分数。（准确率和召回率类似）

中的函数sklearn.metrics有一个labels执行此操作的参数，但我在文档中找不到类似的内容。

有没有办法一次获得所有类的 f1 分数，或者至少指定应该考虑的类cross_val_score？

Answer 1

当您使用函数创建记分器时，make_scorer您可以传递所需的任何其他参数，如下所示：

cross_val_score(
    svm.SVC(kernel='rbf', gamma=0.7, C = 1.0),
    X, y,
    scoring=make_scorer(f1_score, average='weighted', labels=[2]),
    cv=10)

但cross_val_score只允许你返回一个分数。如果没有额外的技巧，你无法一次获得所有课程的分数。如果您需要，请参阅另一个堆栈溢出问题，其中涵盖了这一点：Evaluate multiple Scores on sklearn cross_val_score

Answer 2

为了计算 F1 分数，我们可以使用 sklearn.metrics.f1_score

http://scikit-learn.org/stable/modules/ generated/sklearn.metrics.f1_score.html

示例代码

from sklearn import svm
from sklearn import metrics
from sklearn.cross_validation import train_test_split
from sklearn.datasets import load_iris
from sklearn.metrics import f1_score, accuracy_score

# prepare dataset
iris = load_iris()
X = iris.data[:, :2]
y = iris.target
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

# svm classification
clf = svm.SVC(kernel='rbf', gamma=0.7, C = 1.0).fit(X_train, y_train)
y_predicted = clf.predict(X_test)

# performance
print "Classification report for %s" % clf
print metrics.classification_report(y_test, y_predicted)

print("F1 micro: %1.4f\n" % f1_score(y_test, y_predicted, average='micro'))
print("F1 macro: %1.4f\n" % f1_score(y_test, y_predicted, average='macro'))
print("F1 weighted: %1.4f\n" % f1_score(y_test, y_predicted, average='weighted'))
print("Accuracy: %1.4f" % (accuracy_score(y_test, y_predicted)))

样本输出

Classification report for SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0,
  decision_function_shape=None, degree=3, gamma=0.7, kernel='rbf',
  max_iter=-1, probability=False, random_state=None, shrinking=True,
  tol=0.001, verbose=False)
             precision    recall  f1-score   support

          0       1.00      0.90      0.95        10
          1       0.50      0.88      0.64         8
          2       0.86      0.50      0.63        12

avg / total       0.81      0.73      0.74        30

F1 micro: 0.7333

F1 macro: 0.7384

F1 weighted: 0.7381

Accuracy: 0.7333