如何近似大型稀疏scipy矩阵的相关矩阵？

Question

出于此目的,我现在使用该线程链接的解决方案,但是由于我的矩阵A大小为600万到40000矩阵,因此它给出了预期的内存错误.因此,我正在寻找任何其他解决方案来近似相关矩阵.我怎样才能为这个问题接种疫苗？任何帮助表示赞赏.

Answer 1

您的问题是您无法将结果保存在内存中（6e6^2 值？）。

您可以从原始矩阵中删除行。例如，如果您正在搜索高度相关的行，您可能需要对这些行进行聚类，以解决问题。

您还可以使用scipy.sparse.linalg.svds缩小列数。但您仍然需要处理 rows^2 相关性。