scikit-learn 谱聚类：无法找到潜伏在数据中的 NaN

Question

我正在这个 Jeopardy questions 数据集上运行光谱共聚类，并且我面临着这个令人沮丧的数据问题。请注意，我只是对“问题”列中的所有值进行聚类。

当我在数据集上运行 biclustering 时，显然发生了“除以零”的 ValueError。

/usr/local/lib/python3.6/dist-packages/sklearn/cluster/bicluster.py:38: RuntimeWarning: divide by zero encountered in true_divide
  row_diag = np.asarray(1.0 / np.sqrt(X.sum(axis=1))).squeeze()
/usr/local/lib/python3.6/dist-packages/sklearn/cluster/bicluster.py:286: RuntimeWarning: invalid value encountered in multiply
  z = np.vstack((row_diag[:, np.newaxis] * u,
---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
...
ValueError: Input contains NaN, infinity or a value too large for dtype('float64').

该错误显然表明我的数据中存在 NaN 或无限值（这只是问题的单列）。我处理的完全是文本数据，我已经尝试过大多数 NumPy 和 Pandas 函数来过滤 NaN 和 inf，以及 Stack Overflow 上的许多解决方案。我找不到任何。

为了确保我的代码没有错误，同样的事情在二十个新闻组数据集上完美运行。

如果你想运行它并亲眼看看，这里是 Kaggle 上的代码。但是，以防万一 SO 的政策禁止这样做，这里的代码简而言之：

dat = pd.DataFrame(pd.read_csv('../input/jarchive_cleaned.csv'))

qlist = []

def cleanhtml(raw_html):
  cleanr = re.compile('<.*?>')
  cleantext = re.sub(cleanr, '', raw_html)
  return cleantext

for row in dat.iterrows():
  txt = row[1]['text'].lower()
  txt = cleanhtml(txt)
  txt = re.sub(r'[^a-z ]',"",txt)
  txt = re.sub(r'  ',' ',txt)
#   txt = ' '.join([stem(w) for w in txt.split(" ")])
  qlist.append([txt,row[1]['answer'],row[1]['category']])

print(qlist[:10])

swords = set(stopwords.words('english'))
tv = TfidfVectorizer(stop_words = swords , strip_accents='ascii')

queslst = [q for (q,a,c) in qlist]
qlen = len(set([c for (q,a,c) in qlist]))

mtx = tv.fit_transform(queslst)

cocluster = SpectralCoclustering(n_clusters=qlen, svd_method='arpack', random_state=0) #

t = time()
cocluster.fit(mtx)

Answer 1

某些字符串序列（例如“down out”）会导致 的返回值为零TfidfVectorizer()。这会导致错误以除零错误开始，从而导致inf中的值mtx sparse matrix，从而导致第二个错误。

作为解决此问题的方法，可以删除此序列或mtx在创建矩阵后从矩阵中删除零矩阵元素TfidfVectorizer.fit_transform()，由于稀疏矩阵运算，这有点棘手。

我做了第二个解决方案，因为我没有深入研究原来的任务，如下：

swords = set(stopwords.words('english'))
tv = TfidfVectorizer(stop_words = swords , strip_accents='ascii')

queslst = [q for (q,a,c) in qlist]
qlen = len(set([c for (q,a,c) in qlist]))

mtx = tv.fit_transform(queslst)

indices = []
for i,mx in enumerate(mtx):
    if np.sum(mx, axis=1) == 0:
        indices.append(i)

mask = np.ones(mtx.shape[0], dtype=bool)
mask[indices] = False
mtx = mtx[mask]        

cocluster = SpectralCoclustering(n_clusters=qlen, svd_method='arpack', random_state=0) #

t = time()

cocluster.fit(mtx)

最后它起作用了。我希望，它有帮助，祝你好运！