F1 - 数据不平衡的得分

Question

我正在研究二元分类任务。我的评估数据不平衡，包含大约。20%来自class1，80%来自class2。即使我对每个类类型都有很好的分类准确度，如 class1 为 0.602，class2 为 0.792，如果我计算 class1 上的 f1 分数，我会得到 0.46，因为假阳性计数很大。如果我在 class2 上计算，我得到的 f1 分数为 0.84。

我的问题是，评估不平衡数据分类任务的最佳实践是什么？我可以获得这些 f1 分数的平均值还是应该选择其中一个？在不平衡数据上评估分类任务的最佳评估指标是什么？

顺便说一句，这些是我的 TP、TN、FN、FP 计数；

目标点：115

田纳西州：716

国民警卫队：76

FP：188

Answer 1

我不确定这是否是您想要的，但由于您想要从中获取性能指标的数据是不平衡的，您可以尝试应用加权测量，例如加权 f1 分数。scikit-learn 中的 f1-score 具有“加权”选项，它考虑每个标签的实例数量。这样您就可以获得平均 F1 分数。

https://scikit-learn.org/stable/modules/ generated/sklearn.metrics.f1_score.html

我希望这有帮助！