AttributeError: 'list' 对象没有属性 'lower' : 聚类

Question

我正在尝试进行聚类。我正在使用熊猫和 sklearn。

import pandas
import pprint
import pandas as pd
from sklearn.cluster import KMeans
from sklearn.metrics import adjusted_rand_score
from sklearn.feature_extraction.text import TfidfVectorizer

dataset = pandas.read_csv('text.csv', encoding='utf-8')

dataset_list = dataset.values.tolist()


vectors = TfidfVectorizer()
X = vectors.fit_transform(dataset_list)

clusters_number = 20

model = KMeans(n_clusters = clusters_number, init = 'k-means++', max_iter = 300, n_init = 1)

model.fit(X)

centers = model.cluster_centers_
labels = model.labels_

clusters = {}
for comment, label in zip(dataset_list, labels):
    print ('Comment:', comment)
    print ('Label:', label)

try:
    clusters[str(label)].append(comment)
except:
    clusters[str(label)] = [comment]
pprint.pprint(clusters)

但是我有以下错误，即使我从未使用过lower()：

File "clustering.py", line 19, in <module>
    X = vetorizer.fit_transform(dataset_list)
  File "/usr/lib/python3/dist-packages/sklearn/feature_extraction/text.py", line 1381, in fit_transform
    X = super(TfidfVectorizer, self).fit_transform(raw_documents)
  File "/usr/lib/python3/dist-packages/sklearn/feature_extraction/text.py", line 869, in fit_transform
self.fixed_vocabulary_)
  File "/usr/lib/python3/dist-packages/sklearn/feature_extraction/text.py", line 792, in _count_vocab
for feature in analyze(doc):
  File "/usr/lib/python3/dist-packages/sklearn/feature_extraction/text.py", line 266, in <lambda>
tokenize(preprocess(self.decode(doc))), stop_words)
  File "/usr/lib/python3/dist-packages/sklearn/feature_extraction/text.py", line 232, in <lambda>
return lambda x: strip_accents(x.lower())
AttributeError: 'list' object has no attribute 'lower'

我不明白，我的文本 (text.csv) 已经是小写了。我从来没有打电话给lower()

数据：

你好想取消订单谢谢确认

你好想取消今天的订单 store house world

尺寸床不兼容想知道如何通过取消退款今天亲切发送

你好，可以亲切地取消订单

你好想取消订单申请退款

你好想取消这个订单可以亲切的指示过程

你好看到日期交货想取消订单谢谢

你好想取消匹配订单好交货n°111111

你好想取消这个订单

你好订购产品商店取消行为双倍预付款衷心感谢

你好希望取消订单谢谢你退款问候

您好，可以取消订单，请提前致谢

Answer 1

错误在这一行：

dataset_list = dataset.values.tolist()

你看，dataset是一个pandas DataFrame，所以当你这样做时dataset.values，它会被转换成一个形状为 (n_rows, 1) 的二维数据集（即使列数是 1）。然后调用tolist()它会得到一个列表列表，如下所示：

print(dataset_list)

[[hello wish to cancel order thank you confirmation],
 [hello would like to cancel order made today store house world],
 [dimensions bed not compatible would like to know how to pass cancellation refund send today cordially]
 ...
 ...
 ...]]

如您所见，这里有两个方括号。

现在TfidfVectorizer只需要一个句子列表，而不是列表列表，因此会出现错误（因为TfidfVectorizer假设内部数据是句子，但这里是一个列表）。

所以你只需要这样做：

# Use ravel to convert 2-d to 1-d array
dataset_list = dataset.values.ravel().tolist()

或者

# Replace `column_name` with your actual column header, 
# which converts DataFrame to Series
dataset_list = dataset['column_name'].values).tolist()