标签: tf-idf

我正在尝试对存储在格式键中的推文进行聚类，listofwords

我的第一步是使用数据框提取单词列表的 TF-IDF 值

dbURL = "hdfs://pathtodir"  
file = sc.textFile(dbURL)
#Define data frame schema
fields = [StructField('key',StringType(),False),StructField('content',StringType(),False)]
schema = StructType(fields)
#Data in format <key>,<listofwords>
file_temp = file.map(lambda l : l.split(","))
file_df = sqlContext.createDataFrame(file_temp, schema)
#Extract TF-IDF From https://spark.apache.org/docs/1.5.2/ml-features.html
tokenizer = Tokenizer(inputCol='content', outputCol='words')
wordsData = tokenizer.transform(file_df)
hashingTF = HashingTF(inputCol='words',outputCol='rawFeatures',numFeatures=1000)
featurizedData = hashingTF.transform(wordsData)
idf = IDF(inputCol='rawFeatures',outputCol='features')
idfModel = idf.fit(featurizedData)
rescaled_data = idfModel.transform(featurizedData)

根据在 spark 中为 LDA 准备数据的建议，我尝试将输出重新格式化为我期望作为 LDA 输入的内容，基于此示例，我开始时：

indexer = StringIndexer(inputCol='key',outputCol='KeyIndex')
indexed_data = indexer.fit(rescaled_data).transform(rescaled_data).drop('key').drop('content').drop('words').drop('rawFeatures')

但是现在我没有设法找到一种好方法将我的数据帧转换为上一个示例或本示例中建议的格式 …

我有大约 2-3 百万种产品。每个产品都遵循这个结构

{
    "sku": "Unique ID of Product ( String of 20 chars )"
    "title":"Title of product eg Oneplus 5 - 6GB + 64GB ",
    "brand":"Brand of product eg OnePlus",
    "cat1":"First Category of Product Phone",
    "cat2":"Second Category of Product Mobile Phones",
    "cat3":"Third Category of Product Smart Phones",
    "price":500.00,
    "shortDescription":"Short description about the product ( Around 8 - 10 Lines )",
    "longDescription":"Long description about the product ( Aroung 50 - 60 Lines )"
}

问题陈述是

仅根据内容或产品数据查找类似产品。所以当电子商务用户点击一个产品（SKU）时，我会在推荐中展示与该SKU或产品相似的产品。

比如用户点击apple iphone 6s …

我正在使用 Gensim 进行向量空间模型。从 Gensim 创建字典和语料库后，我使用以下行计算了（术语频率*逆文档频率）TFIDF

Term_IDF  = TfidfModel(corpus)
corpus_tfidf = Term_IDF[corpus]

corpus_tfidf 包含具有术语 ID 和相应 TFIDF 的列表的列表。然后我使用以下几行将 TFIDF 与 id 分开：

 for doc in corpus_tfidf:
     for ids,tfidf in doc:    
         IDS.append(ids)
         tfidfmtx.append(tfidf)    
         IDS=[]

现在我想使用 k-means 聚类，所以我想执行 tfidf 矩阵的余弦相似性问题是 Gensim 不产生方阵，所以当我运行以下行时，它会产生错误。我想知道如何从 Gensim 获取方阵来计算向量空间模型中所有文档的相似性。还有如何将 tfidf 矩阵（在这种情况下是列表列表）转换为 2D NumPy 数组。任何评论都非常感谢。

dumydist = 1 - cosine_similarity(tfidfmtx)

ML.NET 的文档展示了如何使用context.Transforms.Text.ProduceWordBags获取词袋。该方法将Transforms.Text.NgramExtractingEstimator.WeightingCriteria作为参数之一，因此可以请求使用TfIdf权重。最简单的例子是：

// Get a small dataset as an IEnumerable and then read it as a ML.NET data set.
IEnumerable<SamplesUtils.DatasetUtils.SampleTopicsData> data = SamplesUtils.DatasetUtils.GetTopicsData();
var trainData = ml.Data.LoadFromEnumerable(data);

var pipeline = ml.Transforms.Text.ProduceWordBags("bags", review, ngramLength: 1, weighting: Transforms.Text.NgramExtractingEstimator.WeightingCriteria.TfIdf);

var transformer = pipeline.Fit(trainData);
var transformed_data = transformer.Transform(trainData);

一切都很好，但我如何得到实际结果transformed_data呢？

我在调试器中做了一些挖掘，但我仍然对这里实际发生的事情感到困惑。

首先，运行管道会添加三个额外的列transformed_data：

预览数据后，我可以看到这些列中的内容。为了让事情更清楚，这里是GetTopicsData返回的内容，这就是我们运行转换的内容：

animals birds cats dogs fish horse
horse birds house fish duck cats
car truck driver bus pickup
car truck driver …

我想使用TFIDFVectorizer（或CountVectorizer后跟TFIDFTransformer）来获得我的术语的向量表示。这意味着，我想要一个术语的向量，其中文档是特征。这只是由 TFIDFVectorizer 创建的 TF-IDF 矩阵的转置。

>>> vectorizer = TfidfVectorizer()
>>> model = vectorizer.fit_transform(corpus)
>>> model.transpose()

但是，我有 800k 个文档，这意味着我的术语向量非常稀疏且非常大（800k 维）。max_featuresCountVectorizer 中的标志将完全符合我的要求。我可以指定一个维度，而 CountVectorizer 会尝试将所有信息放入该维度。不幸的是，这个选项是针对文档向量而不是词汇表中的术语。因此，它减少了我的词汇量，因为术语就是特征。

有什么办法可以做相反的事情吗？比如，在 TFIDFVectorizer 对象开始切割和规范化所有内容之前对其执行转置？如果存在这种方法，我该怎么做？像这样的东西：

>>> countVectorizer = CountVectorizer(input='filename', max_features=300, transpose=True)

我一直在寻找这种方法，但每个指南、代码示例，无论是在谈论文档 TF-IDF 向量而不是术语向量。非常感谢您！