scikit-learn 谱聚类：无法找到潜伏在数据中的 NaN
scikit-learn spectral clustering: unable to find NaN lurking in data
我在 运行this dataset of Jeopardy questions 上进行光谱共聚，我在处理数据时遇到了这个令人沮丧的问题。请注意，我只对 'question' 列中的所有值进行了聚类。
当我 运行 对数据集进行双聚类时，显然出现了 "divide by zero" ValueError。
/usr/local/lib/python3.6/dist-packages/sklearn/cluster/bicluster.py:38: RuntimeWarning: divide by zero encountered in true_divide
row_diag = np.asarray(1.0 / np.sqrt(X.sum(axis=1))).squeeze()
/usr/local/lib/python3.6/dist-packages/sklearn/cluster/bicluster.py:286: RuntimeWarning: invalid value encountered in multiply
z = np.vstack((row_diag[:, np.newaxis] * u,
---------------------------------------------------------------------------
ValueError Traceback (most recent call last)
...
ValueError: Input contains NaN, infinity or a value too large for dtype('float64').
该错误显然表明我的数据中潜伏着 NaN 或无限值（这只是问题的单列）。我处理的完全是文本数据，我已经尝试过大多数 NumPy 和 Pandas 函数来过滤 NaN 和 inf，以及 Stack Overflow 上的许多解决方案。我找不到。
为了确保我的代码没有错误，同样的事情在二十个新闻组数据集上完美运行。
Here's the code on Kaggle if you want to run it and see for yourself. 但是，为了以防万一 SO 的政策禁止这样做，下面是代码简述：
dat = pd.DataFrame(pd.read_csv('../input/jarchive_cleaned.csv'))
qlist = []
def cleanhtml(raw_html):
cleanr = re.compile('<.*?>')
cleantext = re.sub(cleanr, '', raw_html)
return cleantext
for row in dat.iterrows():
txt = row[1]['text'].lower()
txt = cleanhtml(txt)
txt = re.sub(r'[^a-z ]',"",txt)
txt = re.sub(r' ',' ',txt)
# txt = ' '.join([stem(w) for w in txt.split(" ")])
qlist.append([txt,row[1]['answer'],row[1]['category']])
print(qlist[:10])
swords = set(stopwords.words('english'))
tv = TfidfVectorizer(stop_words = swords , strip_accents='ascii')
queslst = [q for (q,a,c) in qlist]
qlen = len(set([c for (q,a,c) in qlist]))
mtx = tv.fit_transform(queslst)
cocluster = SpectralCoclustering(n_clusters=qlen, svd_method='arpack', random_state=0) #
t = time()
cocluster.fit(mtx)
一些字符串序列，例如'down out' 从 TfidfVectorizer() 中得到零 return 值。这会导致错误以除以 zero 错误开头，从而导致 mtx sparse matrix[= 中的 inf 值27=]，这会导致第二个错误。
作为此问题的变通方法，可以删除此序列或在 TfidfVectorizer.fit_transform() 创建矩阵后从 mtx 矩阵中删除零矩阵元素，由于稀疏矩阵操作，这有点棘手。
我做了第二个解决方案，因为我没有深入原来的任务，如下：
swords = set(stopwords.words('english'))
tv = TfidfVectorizer(stop_words = swords , strip_accents='ascii')
queslst = [q for (q,a,c) in qlist]
qlen = len(set([c for (q,a,c) in qlist]))
mtx = tv.fit_transform(queslst)
indices = []
for i,mx in enumerate(mtx):
if np.sum(mx, axis=1) == 0:
indices.append(i)
mask = np.ones(mtx.shape[0], dtype=bool)
mask[indices] = False
mtx = mtx[mask]
cocluster = SpectralCoclustering(n_clusters=qlen, svd_method='arpack', random_state=0) #
t = time()
cocluster.fit(mtx)
终于成功了。希望对你有帮助，祝你好运！
被零除导致 NaN。您需要先解决根本原因。你可能知道 1/0=NaN.
您可能有一列或一行全为零。
像这样删除 0 行：
X = X[np.array(np.sum(X,axis=1)).ravel() != 0,:]
X = X[:,np.array(np.sum(X,axis=0)).ravel() != 0]
稀疏矩阵不合作。
我在 运行this dataset of Jeopardy questions 上进行光谱共聚，我在处理数据时遇到了这个令人沮丧的问题。请注意，我只对 'question' 列中的所有值进行了聚类。
当我 运行 对数据集进行双聚类时，显然出现了 "divide by zero" ValueError。
/usr/local/lib/python3.6/dist-packages/sklearn/cluster/bicluster.py:38: RuntimeWarning: divide by zero encountered in true_divide
row_diag = np.asarray(1.0 / np.sqrt(X.sum(axis=1))).squeeze()
/usr/local/lib/python3.6/dist-packages/sklearn/cluster/bicluster.py:286: RuntimeWarning: invalid value encountered in multiply
z = np.vstack((row_diag[:, np.newaxis] * u,
---------------------------------------------------------------------------
ValueError Traceback (most recent call last)
...
ValueError: Input contains NaN, infinity or a value too large for dtype('float64').
该错误显然表明我的数据中潜伏着 NaN 或无限值（这只是问题的单列）。我处理的完全是文本数据，我已经尝试过大多数 NumPy 和 Pandas 函数来过滤 NaN 和 inf，以及 Stack Overflow 上的许多解决方案。我找不到。
为了确保我的代码没有错误，同样的事情在二十个新闻组数据集上完美运行。
Here's the code on Kaggle if you want to run it and see for yourself. 但是，为了以防万一 SO 的政策禁止这样做，下面是代码简述：
dat = pd.DataFrame(pd.read_csv('../input/jarchive_cleaned.csv'))
qlist = []
def cleanhtml(raw_html):
cleanr = re.compile('<.*?>')
cleantext = re.sub(cleanr, '', raw_html)
return cleantext
for row in dat.iterrows():
txt = row[1]['text'].lower()
txt = cleanhtml(txt)
txt = re.sub(r'[^a-z ]',"",txt)
txt = re.sub(r' ',' ',txt)
# txt = ' '.join([stem(w) for w in txt.split(" ")])
qlist.append([txt,row[1]['answer'],row[1]['category']])
print(qlist[:10])
swords = set(stopwords.words('english'))
tv = TfidfVectorizer(stop_words = swords , strip_accents='ascii')
queslst = [q for (q,a,c) in qlist]
qlen = len(set([c for (q,a,c) in qlist]))
mtx = tv.fit_transform(queslst)
cocluster = SpectralCoclustering(n_clusters=qlen, svd_method='arpack', random_state=0) #
t = time()
cocluster.fit(mtx)
一些字符串序列，例如'down out' 从 TfidfVectorizer() 中得到零 return 值。这会导致错误以除以 zero 错误开头，从而导致 mtx sparse matrix[= 中的 inf 值27=]，这会导致第二个错误。
作为此问题的变通方法，可以删除此序列或在 TfidfVectorizer.fit_transform() 创建矩阵后从 mtx 矩阵中删除零矩阵元素，由于稀疏矩阵操作，这有点棘手。
我做了第二个解决方案，因为我没有深入原来的任务，如下：
swords = set(stopwords.words('english'))
tv = TfidfVectorizer(stop_words = swords , strip_accents='ascii')
queslst = [q for (q,a,c) in qlist]
qlen = len(set([c for (q,a,c) in qlist]))
mtx = tv.fit_transform(queslst)
indices = []
for i,mx in enumerate(mtx):
if np.sum(mx, axis=1) == 0:
indices.append(i)
mask = np.ones(mtx.shape[0], dtype=bool)
mask[indices] = False
mtx = mtx[mask]
cocluster = SpectralCoclustering(n_clusters=qlen, svd_method='arpack', random_state=0) #
t = time()
cocluster.fit(mtx)
终于成功了。希望对你有帮助，祝你好运！
被零除导致 NaN。您需要先解决根本原因。你可能知道 1/0=NaN.
您可能有一列或一行全为零。
像这样删除 0 行：
X = X[np.array(np.sum(X,axis=1)).ravel() != 0,:]
X = X[:,np.array(np.sum(X,axis=0)).ravel() != 0]
稀疏矩阵不合作。