将字数向量逆变换为原始文档

Question

我正在训练一个简单的文本分类模型（目前使用 scikit-learn）。使用我使用的词汇表将我的文档样本转换为字数向量

CountVectorizer(vocabulary=myDictionaryWords).fit_transform(myDocumentsAsArrays)

从sklearn.feature_extraction.text。

这非常有效，我随后可以将此字数向量作为特征向量来训练我的分类器。但我不知道如何将这些字数向量逆变换为原始文档。CountVectorizer确实有一个函数inverse_transform(X)，但这只会返回唯一的非零标记。

据我所知 CountVectorizer 没有任何映射回原始文档的实现。

有人知道如何从计数向量化表示中恢复令牌的原始序列吗？是否有 Tensorflow 或任何其他模块可以实现此目的？

Answer 1

CountVectorizer 是“有损”的，即对于文档 : This is the amazing string in amazing program，它只会存储文档中的单词计数（即字符串 -> 1、惊人 -> 2 等），但会丢失位置信息。因此，通过反转它，您可以创建一个文档，其中相同的单词重复相同的次数，但它们在文档中的顺序无法追溯。