了解Spark中的LDA

Question

我正在Spark（LDA）中运行潜在Dirichlet分配。并试图了解它给出的输出。

这是我使用Tokenizer，StopwordsRemover，CountVectorizer进行文本功能转换后的示例数据集

[Row(Id=u'39', tf_features=SparseVector(1184, {89: 1.0, 98: 2.0, 108: 1.0, 168: 3.0, 210: 1.0, 231: 1.0, 255: 1.0, 290: 1.0, 339: 1.0, 430: 1.0, 552: 1.0, 817: 1.0, 832: 1.0, 836: 1.0, 937: 1.0, 999: 1.0, 1157: 1.0})),
 Row(Id=u'7666', tf_features=SparseVector(1184, {15: 2.0, 186: 2.0, 387: 2.0, 429: 2.0, 498: 2.0}))]

按照Spark的稀疏矢量表示形式tf_features表示：（Vocab_zise，{term_id：term_freq ...}

现在，我运行以下初始代码：

from pyspark.ml.clustering import LDA
lda = LDA(featuresCol="tf_features",k=10, seed=1, optimizer="online")
ldaModel=lda.fit(tf_df)

lda_df=ldaModel.transform(tf_df)

首先，我检查结果转换后的数据帧。

lda_df.take(3)
Out[73]:
[Row(Id=u'39', tf_features=SparseVector(1184, {89: 1.0, 98: 2.0, 108: 1.0, 168: 3.0, 210: 1.0, 231: 1.0, 255: 1.0, 290: 1.0, 339: 1.0, 430: 1.0, 552: 1.0, 817: 1.0, 832: 1.0, 836: 1.0, 937: 1.0, 999: 1.0, 1157: 1.0}), topicDistribution=DenseVector([0.0049, 0.0045, 0.0041, 0.0048, 0.9612, 0.004, 0.004, 0.0041, 0.0041, 0.0042])),
 Row(Id=u'7666', tf_features=SparseVector(1184, {15: 2.0, 186: 2.0, 387: 2.0, 429: 2.0, 498: 2.0}), topicDistribution=DenseVector([0.0094, 0.1973, 0.0079, 0.0092, 0.0082, 0.0077, 0.7365, 0.0078, 0.0079, 0.008])),
 Row(Id=u'44', tf_features=SparseVector(1184, {2: 1.0, 9: 1.0, 122: 1.0, 444: 1.0, 520: 1.0, 748: 1.0}), topicDistribution=DenseVector([0.0149, 0.8831, 0.0124, 0.0146, 0.013, 0.0122, 0.0122, 0.0124, 0.0125, 0.0127]))]

我的理解再次是，topicDistribution列表示该行文档中每个主题的权重。所以基本上是在文档上分发主题。说得通。

现在，我检查LdaModel的两种方法。

ldaModel.describeTopics().show(2,truncate=False)
+-----+---------------------------------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
|topic|termIndices                            |termWeights                                                                                                                                                                                                               |
+-----+---------------------------------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
|0    |[0, 39, 68, 43, 50, 59, 49, 84, 2, 116]|[0.06362107696025378, 0.012284342954240298, 0.012104887652365797, 0.01066583226047289, 0.01022196994114675, 0.008836060842769776, 0.007638318779273158, 0.006478523079841644, 0.006421040016045976, 0.0057849412030562125]|
|1    |[3, 1, 8, 6, 4, 11, 14, 7, 9, 2]       |[0.03164821806301453, 0.031039573066565747, 0.018856890552836778, 0.017520190459705844, 0.017243870770548828, 0.01717645631844006, 0.017147930104624565, 0.01706912474813669, 0.016946362395557312, 0.016722361546119266] |
+-----+---------------------------------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
only showing top 2 rows

这似乎显示了每个主题中单词或术语的术语ID分布。显示十项（可以在方法中更改为参数）。再次有道理。

第二种方法如下：

In [82]:

ldaModel.topicsMatrix()
Out[82]:
DenseMatrix(1184, 10, [132.7645, 3.0036, 13.3994, 3.6061, 9.3199, 2.4725, 9.3927, 3.4243, ..., 0.5774, 0.8335, 0.49, 0.6366, 0.546, 0.8509, 0.5081, 0.6627], 0)

现在，根据文档，它说topicMatrix是Topics的矩阵，是术语，其中主题是列，而主题中的术语是行。大小将为vocab_size X k（no_of_topics）。

我似乎在这里看不到，也不确定此输出是什么意思？

其次，如何将这些术语ID与实际的单词名称相关联。最后，我想要一个主题列表（无论是列还是行）以及前10-15个单词/术语，以便在看到那里出现的单词种类后可以解释主题。在这里，我只有一些ID，没有任何单词名称。

对这两个有任何想法吗？

编辑二：

当我只做主题[0] [1]时，出现以下注释中提到的错误。

所以我将其转换为numpy数组，如下所示：

topics.toArray()

看起来像下面

array([[ 132.76450545,    2.26966742,    0.73646762,    7.35362275,
           0.57789645,    0.58248036,    0.65876465,    0.6695292 ,
           0.70034004,    0.63875301],
       [   3.00362754,   68.80842798,    0.48662529,  100.31770907,
           0.57867623,    0.5357196 ,    0.58895636,    0.83408602,
           0.53400242,    0.56291545],
       [  13.39943055,   37.070078

这是一个1184 X 10的数组，所以我假设它是带有单词分布的主题矩阵。

如果真是这样，那么分布应该是概率，但是在这里我们看到大于1的数字，例如132.76等。那么这是什么？

Answer 1

该方法topicsMatrix()返回一个DenseMatrix对象。

您看到的输出是此类对象的表示。这些对象的“属性”是：

numRows, numCols, values, isTransposed=False

因此，从您获得的输出中，您可以将这些属性标识为：

• numRows：词汇量（在您的情况下为 1184）。
• numCols：主题的数量（在您的情况下为 10）。
• values: 包含元素的数组。这些元素在 中表示为一个普通向量DenseMatrix。
• isTransposed：矩阵是否转置（0，即在您的情况下为 False）。

因此，这里重要的是如何正确表示DenseMatrix.

从pyspark的指南中，我找到了一个对您有用的示例：

topics = ldaModel.topicsMatrix()
for topic in range(10):
    print("Topic " + str(topic) + ":")
    for word in range(0, ldaModel.vocabSize()):
        print(" " + str(topics[word][topic]))

根据DenseMatrix的文档，如果您想获得更有用的表示，可以尝试使用这两种方法：

• asML()
• toArray() 返回一个 numpy.ndarray
• toSparse()