如何阅读Mahout群集输出

Question

我已经在Mahout教程的合成控制数据上运行了k-Means聚类算法,并且想知道是否有人可以解释如何解释输出.我运行了clusterdump并收到了类似这样的输出(截断以节省空间):

CL-592{n=57 c=30.726, 29.813...] r=[3.528, 3.597...]}
Weight : [props - optional]: Point:
1.0 : [distance=27.453962995925863]: [24.672, 35.261, 30.486...]
1.0 : [distance=27.675053294846002]: [25.592, 29.951, 34.188...]
1.0 : [distance=28.97727289419493]: [30.696, 32.667, 34.223...]
1.0 : [distance=21.999685652862784]: [32.702, 35.219, 30.143...]
...
CL-598{n=50 c=[29.611, 29.769...] r=[3.166, 3.561...]}
Weight : [props - optional]:  Point:
1.0 : [distance=27.266203490250472]: [27.679, 33.506, 23.594...]
1.0 : [distance=28.749781351838173]: [34.727, 28.325, 30.331...]
1.0 : [distance=32.635136046420186]: [27.758, 33.859, 29.879...]
1.0 : [distance=29.328974057024624]: [29.356, 26.793, 25.575...]

有人可以向我解释如何阅读这个吗？据我所知,CL -__是一个聚类ID,其次是n =聚类中的点数,c =作为向量的质心,r =作为向量的半径,然后是聚类中的每个点.它是否正确？此外,我如何知道哪个聚簇点与哪个输入点匹配？即被描述为键值对的点,其中键是点的某种ID,值是向量？如果没有,有什么方法我可以设置它,所以它是？

Answer 1

我相信你对这些数据的解释是正确的(我只和Mahout一起工作了大约3个星期,所以经验丰富的人应该对此有所了解).

至于将点链接回创建它们的输入我已经使用过NamedVector,其中名称是向量的关键.当您读取其中一个生成的点文件(clusteredPoints)时,您可以将每一行(点向量)转换回a NamedVector并使用检索名称.getName().

更新以回应评论

当您最初将数据读入Mahout时,将其转换为矢量集合,然后使用该集合将其写入文件(points)以便稍后在集群算法中使用.Mahout为您提供了几种Vector可以使用的类型,但它们还允许您访问一个Vector包装类,该类NamedVector允许您识别每个向量.

例如,您可以NamedVector按如下方式创建每个:

NamedVector nVec = new NamedVector(
    new SequentialAccessSparseVector(vectorDimensions), 
    vectorName
    );

然后你用以下内容编写你的NamedVectors文件集:

SequenceFile.Writer writer = new SequenceFile.Writer(...);
VectorWritable writable = new VectorWritable();

// the next two lines will be in a loop, but I'm omitting it for clarity
writable.set(nVec);
writer.append(new Text(nVec.getName()), nVec);

您现在可以将此文件用作其中一个聚类算法的输入.

在使用您的点文件运行其中一个聚类算法之后,它将生成另一个点文件,但它将位于一个名为的目录中clusteredPoints.

然后,您可以读入此点文件并提取与每个向量关联的名称.它看起来像这样:

IntWritable clusterId = new IntWritable();
WeightedPropertyVectorWritable vector = new WeightedPropertyVectorWritable();

while (reader.next(clusterId, vector))
{
    NamedVector nVec = (NamedVector)vector.getVector();
    // you now have access to the original name using nVec.getName()
}