螃蟹:为什么螃蟹的UserBasedRecommender这么慢？

Question

蟹的基准是(http://www.slideshare.net/marcelcaraciolo/crab-a-python-framework-for-building-recommender-systems page-37)

Benchmarks Pure Python w/ Python w/ Scipy Dataset dicts and NumpyMovieLens 100k 15.32 s 9.56 s http://www.grouplens.org/node/73 Old Crab New Crab

但是,在我的情况下,我需要花费30多分钟来完成它,我不知道原因

我的代码是

model = MatrixPreferenceDataModel(recommend_data.data)
similarity = UserSimilarity(model, pearson_correlation)
recommender = UserBasedRecommender(model, similarity, with_preference=True)
recommender.recommend("6")

我的数据是NumpyMovieLens 100k,其中包含1700部电影中1000个用户的100,000个评级.

Answer 1

当我一年多前最后一次查看 Crab 时，它使用的是密集数组，而它应该使用稀疏矩阵（例如scipy.sparse）。这使得它变得非常慢并且占用内存。我只是快速浏览了一下，Crab 似乎已经快一年没有更新了，所以情况可能还是一样。