scikit-learn 的 KNN 如何计算概率估计？

Question

scikit learn 中 KNN 算法的实现如何计算该predict_proba(X)方法的概率估计？

Answer 1

以下示例是从 sklearn 文档中提取的，但进行了一些修改，以便您可以理解我们在这种情况下所做的事情，有关更多详细信息，请参阅： https://scikit-learn.org/stable/modules/ generated/sklearn.neighbors。 KNeighborsClassifier.html 假设我们有 6 个点，它们要么是 0 类，要么是 1 类：

#import libraries
from sklearn.neighbors import KNeighborsClassifier
# Data
X = [[5,5], [3,3],[4,4.5], [8,9.3], [8,9.1],[10,15]]
y = [0, 0,0, 1, 1,1]
#  Define the knn and fit the model
neigh = KNeighborsClassifier(n_neighbors=4)
neigh.fit(X, y)
# Examples
# Print the probabilities 0 and 1 respecetively
print('Predict probabilities of 0 and 1 ',neigh.predict_proba([[4,4]]))
# Print the probabilities of 0 and 1 
print('Predict probabilities of 0 and 1 ',neigh.predict_proba([[10,12]]))

你基本上所做的是说，好吧，我们有 n_neighbors=4，所以距离点 [4,4] 最接近的四个点是： 3 类 0 和 1 类 1 因此你有 3/4 = 0.75 属于 1 类a 和 1/4 =0.25 属于二级（这是第一个打印）。请注意，如果设置 n_neighbors=3 并拟合模型，您将得到点 [4,4] 的三个最接近的元素 x 为 0 类，因此概率将为 [1,0] （3/3 = 1类 1 且 0/3 = 0 属于类 0）可能出现的一个问题是：他们如何定义一个点接近另一个点？好吧，在文档中说他们默认使用 p = 2 的 minkowski 距离，这相当于计算 [4,4] 和训练数据中每个点之间的欧几里得距离（请参阅https://en.wikipedia. org/wiki/Minkowski_distance）