如何在python中执行权重/密度的集群？像重量的kmeans？

Question

我的数据是这样的:

powerplantname, latitude, longitude, powergenerated
A, -92.3232, 100.99, 50
B, <lat>, <long>, 10
C, <lat>, <long>, 20
D, <lat>, <long>, 40
E, <lat>, <long>, 5

我希望能够将数据聚类为N个聚类(比如3).通常我会使用kmeans:

import numpy as np

import matplotlib.pyplot as plt
from scipy.cluster.vq import kmeans2, whiten
coordinates= np.array([
           [lat, long],
           [lat, long],
            ...
           [lat, long]
           ])
x, y = kmeans2(whiten(coordinates), 3, iter = 20)  
plt.scatter(coordinates[:,0], coordinates[:,1], c=y);
plt.show()

这个问题是它没有考虑任何加权(在这种情况下,我的powergenerated值)我想理想我的集群将值"powergenerated"考虑在内,试图保持集群不仅在空间上接近,而且还有接近相对相等的总发电量.

我应该用kmeans(或其他一些方法)这样做吗？或者我应该使用其他什么来解决这个问题会更好？

Answer 1

或者我应该使用其他什么来解决这个问题会更好？

为了同时考虑中心之间的地理距离和产生的功率,您应该定义适当的度量.下面的函数计算地球表面上两个点之间的距离,从纬度和经度到半径公式,并将生成的功率差的绝对值乘以加权因子.权重值决定了聚类过程中距离和功率差异的相对影响.

import numpy as np

def custom_metric(central_1, central_2, weight=1):
    lat1, lng1, pow1 = central_1
    lat2, lng2, pow2 = central_2

    lat1, lat2, lng1, lng2 = np.deg2rad(np.asarray([lat1, lat2, lng1, lng2]))

    dlat = lat2 - lat1
    dlng = lng2 - lng1

    h = (1 - np.cos(dlat))/2. + np.cos(lat1)*np.cos(lat2)*(1 - np.cos(dlng))/2.
    km = 2*6371*np.arcsin(np.sqrt(h))

    MW = np.abs(pow2 - pow1)

    return km + weight*MW

我应该用kmeans(或其他一些方法)这样做吗？

不幸的是,SciPy kmeans2和scikit-learn的当前实现KMeans仅支持欧几里德距离.另一种方法是通过SciPy的聚类包执行层次聚类,根据刚定义的度量对中心进行分组.

演示

让我们首先生成模拟数据,即具有随机值的8个中心的特征向量:

N = 8
np.random.seed(0)
lat = np.random.uniform(low=-90, high=90, size=N)
lng = np.random.uniform(low=-180, high=180, size=N)
power = np.random.randint(low=5, high=50, size=N)
data = np.vstack([lat, lng, power]).T

data上面的代码段产生的变量内容如下所示:

array([[   8.7864,  166.9186,   21.    ],
       [  38.7341,  -41.9611,   10.    ],
       [  18.4974,  105.021 ,   20.    ],
       [   8.079 ,   10.4022,    5.    ],
       [ -13.7421,   24.496 ,   23.    ],
       [  26.2609,  153.2148,   40.    ],
       [ -11.2343, -154.427 ,   29.    ],
       [  70.5191, -148.6335,   34.    ]])

要划分这些数据输入到三个不同的群体,我们要通过data与custom_metric该linkage功能(检查文档,以了解更多有关参数method),然后返回联动矩阵传递到cut_tree与功能n_clusters=3.

from scipy.cluster.hierarchy import linkage, cut_tree
Z = linkage(data, method='average', metric=custom_metric)
y = cut_tree(Z, 3).flatten()

结果我们得到y每个中心的组成员资格(数组):

array([0, 1, 0, 2, 2, 0, 0, 1])

上面的结果取决于的价值weight.如果您希望使用与1(例如250)不同的值,您可以更改默认值,如下所示:

def custom_metric(central_1, central_2, weight=250):

另外,您也可以在参数设置metric中调用linkage到lambda如下表达:metric=lambda x, y: custom_metric(x, y, 250).

最后,为了更深入地了解分层/凝聚聚类,您可以将其绘制为树状图:

from scipy.cluster.hierarchy import dendrogram
dendrogram(Z)