我如何与KL-divergence聚类？

Question

我想用KL-divergence作为我的指标来聚类我的数据.

在K-means中:

1. 选择群集数量.

2. 随机初始化每个群集的均值.

3. 将每个数据点分配给c具有最小距离值的群集.

4. 将每个群集的平均值更新为分配给它的数据点的平均值.

在Euclidean案例中,只需平均每个向量即可轻松更新均值.

但是,如果我想使用KL-divergence作为我的指标,我该如何更新我的意思呢？

Answer 1

具有KL分歧的聚类可能不是最好的想法,因为KLD缺少度量的重要属性:对称性.因此,获得的集群可能很难解释.如果你想继续使用KLD,你可以使用距离KLD的平均值即

d(x,y) = KLD(x,y)/2 + KLD(y,x)/2