Spark KMeans 聚类：获取分配给聚类的样本数

Question

我正在使用 Spark Mlib 进行 kmeans 聚类。我有一组向量，我想从中确定最可能的聚类中心。所以我将在这个集合上运行 kmeans 聚类训练，并选择分配给它的向量数量最多的集群。

因此，我需要知道训练后分配给每个集群的向量数量（即 KMeans.run(...)）。但是我找不到从 KMeanModel 结果中检索此信息的方法。我可能需要predict在所有训练向量上运行并计算出现最多的标签。

有没有另一种方法可以做到这一点？

谢谢

Answer 1

你是对的，这个信息不是由模型提供的，你必须运行predict. 下面是一个以并行方式执行此操作的示例（Spark v. 1.5.1）：

 from pyspark.mllib.clustering import KMeans
 from numpy import array
 data = array([0.0,0.0, 1.0,1.0, 9.0,8.0, 8.0,9.0, 10.0, 9.0]).reshape(5, 2)
 data
 # array([[  0.,   0.],
 #       [  1.,   1.],
 #       [  9.,   8.],
 #       [  8.,   9.],
 #       [ 10.,   9.]])

 k = 2 # no. of clusters
 model = KMeans.train(
                sc.parallelize(data), k, maxIterations=10, runs=30, initializationMode="random",
                seed=50, initializationSteps=5, epsilon=1e-4)

 cluster_ind = model.predict(sc.parallelize(data))
 cluster_ind.collect()
 # [1, 1, 0, 0, 0]

cluster_ind是与我们的初始数据具有相同基数的 RDD，它显示每个数据点属于哪个集群。因此，这里我们有两个集群，一个有 3 个数据点（集群 0），另一个有 2 个数据点（集群 1）。请注意，我们以并行方式（即在 RDD 上）运行预测方法 -collect()此处仅用于演示目的，在“真实”情况下不需要它。

现在，我们可以通过以下方式获取簇大小

 cluster_sizes = cluster_ind.countByValue().items()
 cluster_sizes
 # [(0, 3), (1, 2)]

由此，我们可以得到最大簇索引和大小为

 from operator import itemgetter
 max(cluster_sizes, key=itemgetter(1))
 # (0, 3)

即我们最大的簇是簇 0，大小为 3 个数据点，通过cluster_ind.collect()上面的检查可以轻松验证。