将概率与 scikit-learn 中的标签连接起来

Question

我正在训练scikit-learn的neighbors.KNeighborsClassifier模型对象来预测多类分类问题。我已经预测了最可能的类，但现在我想提取使用该predict_proba函数预测的第二个最可能的类。然而，该函数的输出只是给出了一个原始的 numpy 数组，它应该是按字典顺序排序的。但是，当我观察数据以查看概率是否按字母顺序排列时，但似乎并非如此。

from sklearn import neighbors
knn_classifier  = neighbors.KNeighborsClassifier(n_neighbors = NUM_NEIGHBORS, weights = 'distance', metric ='haversine' )
knn_classifier.fit(knn_data, response)

unique_levels =  response.unique()
unique_levels.sort()
print unique_levels
    ['Canada' 'DCarea' 'NYarea' 'bostonArea' 'caribbean' 'eastAsia' 'florida'
     'hawaii' 'italy' 'midwest' 'nevada' 'newEngland' 'northernEurope'
     'northern_california' 'northern_france' 'notFound' 'otherSouthernEurope'
     'pacificNW' 'pennArea' 'south' 'southAmerica' 'southeastAsiaAus'
     'southern_california' 'spain' 'texas' 'unitedKingdom' 'west']

knn_preds = knn_classifier.predict(knn_data)
knn_probs = knn_classifier.predict_proba(knn_data)

knn_preds[0:10]
    array(['DCarea', 'NYarea', 'DCarea', 'Canada', 'midwest', 'unitedKingdom',
           'midwest', 'NYarea', 'NYarea', 'south'], dtype=object)

knn_probs[0]
    array([ 0.    ,  0.0667,  0.2667,  0.0333,  0.1   ,  0.    ,  0.    ,
            0.    ,  0.    ,  0.0667,  0.1   ,  0.    ,  0.    ,  0.0667,
            0.    ,  0.    ,  0.    ,  0.0333,  0.    ,  0.1   ,  0.    ,
            0.    ,  0.1333,  0.    ,  0.    ,  0.    ,  0.0333])

knn_probs[1]
    array([ 0.   ,  0.   ,  0.25 ,  0.   ,  0.   ,  0.   ,  0.   ,  0.   ,
            0.   ,  0.125,  0.125,  0.   ,  0.   ,  0.25 ,  0.   ,  0.   ,
            0.   ,  0.125,  0.   ,  0.   ,  0.   ,  0.   ,  0.125,  0.   ,
            0.   ,  0.   ,  0.   ])

如果概率按字典顺序排序，我希望第二个键knn_probs[0]具有最高的概率，因为'DCarea'是获胜类，并且按字典顺序排在第二位（如上所述）。但是，最大值是列表中的第三项。是什么赋予了？

Answer 1

我相信概率顺序遵循 中提取的标签的顺序knn_classifier.classes_。您可以一起zip预测classes_概率向量，排序并取第二个。

classes_ = np.array(['a','b','c']) prob_vec = np.array([0.6, 0, 0.4]) sec_class, sec_prob = list(sorted(zip(classes_, prob_vec), key=lambda k: -k[1]))[1]