“管道”对象在 scikit-learn 中没有属性“get_feature_names”

Question

我基本上是使用 mini_batch_kmeans 和 kmeans 算法对我的一些文档进行聚类。我只是按照教程是 scikit-learn 网站，其链接如下：http : //scikit-learn.org/stable/auto_examples/text/document_clustering.html

他们正在使用一些方法进行矢量化，其中之一是 HashingVectorizer。在 hashingVectorizer 中，他们使用 TfidfTransformer() 方法制作管道。

# Perform an IDF normalization on the output of HashingVectorizer
hasher = HashingVectorizer(n_features=opts.n_features,
                               stop_words='english', non_negative=True,
                               norm=None, binary=False)
vectorizer = make_pipeline(hasher, TfidfTransformer())

一旦这样做，我从中得到的矢量化器就没有方法 get_feature_names()。但是由于我将它用于聚类，因此我需要使用此“get_feature_names()”来获取“条款”

terms = vectorizer.get_feature_names()
for i in range(true_k):
    print("Cluster %d:" % i, end='')
    for ind in order_centroids[i, :10]:
        print(' %s' % terms[ind], end='')
    print()

我该如何解决这个错误？

我的整个代码如下所示：

X_train_vecs, vectorizer = vector_bow.count_tfidf_vectorizer(_contents)
mini_kmeans_batch = MiniBatchKmeansTechnique()
# MiniBatchKmeans without the LSA dimensionality reduction
mini_kmeans_batch.mini_kmeans_technique(number_cluster=8, X_train_vecs=X_train_vecs,
                                                vectorizer=vectorizer, filenames=_filenames, contents=_contents, is_dimension_reduced=False)

计数矢量化器通过 tfidf 进行管道传输。

def count_tfidf_vectorizer(self,contents):
    count_vect = CountVectorizer()
    vectorizer = make_pipeline(count_vect,TfidfTransformer())
    X_train_vecs = vectorizer.fit_transform(contents)
    print("The count of bow : ", X_train_vecs.shape)
    return X_train_vecs, vectorizer

mini_batch_kmeans 类如下：

class MiniBatchKmeansTechnique():
    def mini_kmeans_technique(self, number_cluster, X_train_vecs, vectorizer,
                              filenames, contents, svd=None, is_dimension_reduced=True):
        km = MiniBatchKMeans(n_clusters=number_cluster, init='k-means++', max_iter=100, n_init=10,
                         init_size=1000, batch_size=1000, verbose=True, random_state=42)
        print("Clustering sparse data with %s" % km)
        t0 = time()
        km.fit(X_train_vecs)
        print("done in %0.3fs" % (time() - t0))
        print()
        cluster_labels = km.labels_.tolist()
        print("List of the cluster names is : ",cluster_labels)
        data = {'filename':filenames, 'contents':contents, 'cluster_label':cluster_labels}
        frame = pd.DataFrame(data=data, index=[cluster_labels], columns=['filename', 'contents', 'cluster_label'])
        print(frame['cluster_label'].value_counts(sort=True,ascending=False))
        print()
        grouped = frame['cluster_label'].groupby(frame['cluster_label'])
        print(grouped.mean())
        print()
        print("Top Terms Per Cluster :")

        if is_dimension_reduced:
            if svd != None:
                original_space_centroids = svd.inverse_transform(km.cluster_centers_)
                order_centroids = original_space_centroids.argsort()[:, ::-1]
        else:
            order_centroids = km.cluster_centers_.argsort()[:, ::-1]

        terms = vectorizer.get_feature_names()
        for i in range(number_cluster):
            print("Cluster %d:" % i, end=' ')
            for ind in order_centroids[i, :10]:
                print(' %s' % terms[ind], end=',')
            print()
            print("Cluster %d filenames:" % i, end='')
            for file in frame.ix[i]['filename'].values.tolist():
                print(' %s,' % file, end='')
            print()

Answer 1

Pipeline 没有 get_feature_names() 方法，因为为 Pipeline 实现此方法并不简单 - 需要考虑所有管道步骤才能获取功能名称。见https://github.com/scikit-learn/scikit-learn/issues/6424，https://github.com/scikit-learn/scikit-learn/issues/6425，等等-有很多相关的票和几次尝试修复它。

如果您的管道很简单（TfidfVectorizer 后跟 MiniBatchKMeans），那么您可以从 TfidfVectorizer 获取特征名称。

如果您想使用 HashingVectorizer，它会更复杂，因为 HashingVectorizer 设计时不提供功能名称。HashingVectorizer 不存储词汇，而是使用散列 - 这意味着它可以应用于在线设置，并且它不需要任何 RAM - 但权衡正是你没有得到特征名称。

尽管如此，仍然可以从 HashingVectorizer 获取特征名称；为此，您需要将其应用于文档样本，存储哪些散列对应于哪些单词，并通过这种方式了解这些散列的含义，即特征名称是什么。可能会有冲突，所以不可能 100% 确定特征名称是正确的，但通常这种方法可以正常工作。这种方法是在eli5库中实现的；有关示例，请参见http://eli5.readthedocs.io/en/latest/tutorials/sklearn-text.html#debugging-hashingvectorizer。你将不得不做这样的事情，使用InvertableHashingVectorizer：

from eli5.sklearn import InvertableHashingVectorizer
ivec = InvertableHashingVectorizer(vec)  # vec is a HashingVectorizer instance
# X_sample is a sample from contents; you can use the 
# whole contents array, or just e.g. every 10th element
ivec.fit(content_sample)  
hashing_feat_names = ivec.get_feature_names()

然后你可以使用hashing_feat_names你的特征名称，因为 TfidfTransformer 不会改变输入向量的大小，只是缩放相同的特征。