sklearn自定义记分器一次多个指标

Question

我有一个返回Observation带有多个记分器的对象的函数，如何将其集成到自定义 sklearn 记分器中？我将其定义为：

class Observation():
    def __init__(self):
        self.statValues = {}
        self.modelName = ""

    def setModelName(self, nameOfModel):
        self.modelName = nameOfModel

    def addStatMetric(self, metricName,metricValue):
        self.statValues[metricName] = metricValue

自定义分数的定义如下：

def myAllScore(y_true, y_predicted):
    return Observation
my_scorer = make_scorer(myAllScore)

这可能看起来像

{   'AUC_R': 0.6892943119440752,
    'Accuracy': 0.9815382629183745,
    'Error rate': 0.018461737081625407,
    'False negative rate': 0.6211453744493393,
    'False positive rate': 0.0002660016625103907,
    'Lift value': 33.346741089307166,
    'Precision J': 0.9772727272727273,
    'Precision N': 0.9815872808592603,
    'Rate of negative predictions': 0.0293063938288739,
    'Rate of positive predictions': 0.011361068973307943,
    'Sensitivity (true positives rate)': 0.3788546255506608,
    'Specificity (true negatives rate)': 0.9997339983374897,
    'f1_R': 0.9905775376404309,
    'kappa': 0.5384745595159575}

Answer 1

简而言之：你不能。

长版本：记分器必须返回单个标量，因为它可用于模型选择，并且通常用于比较对象。由于向量空间上不存在完整的排序 - 您无法在记分器（或字典）内返回向量，但从数学角度来看，它可能被视为向量）。此外，即使是其他用例，例如进行交叉验证，也不支持任意结构化对象作为返回值，因为它们尝试调用np.mean值列表，并且没有为 python 字典列表（您的方法返回的列表）定义此操作）。

您唯一能做的就是为您拥有的每个指标创建单独的评分器，并独立使用它们。