我正在处理十万（100,000）份文件（平均文件长度约为 500 个术语）。对于每个文档，我想通过余弦相似度获得前 k 个（例如 k = 5）个相似文档。那么如何通过Python有效地做到这一点。
这是我所做的：
我在 i5-2.5GHz 上运行我的代码，12 小时过去了，但它仍然有效。所以我想知道如何优化我的代码或程序。
这是我的想法：
那么，你有什么好主意吗？
非常感谢。
我知道有一个类似的问题，但这不是我想要的。
感谢 @orange ，经过分析，我发现第 2 步是瓶颈！这是示例代码：
def construct_dt_matrix():
dt_matrix = pd.DataFrame(columns=['docid'])
docid = 0
for f in files:
# text segmentation for f
# remove stop words
# word count store …