小编mic*_*ich的帖子

PySpark中MatrixFactorizationModel的缓存因子

加载保存的MatrixFactorizationModel后,我收到警告:MatrixFactorizationModelWrapper:Product factor没有分区器.对个别记录的预测可能很慢.MatrixFactorizationModelWrapper:不缓存产品因子.预测可能很慢.

实际上计算速度很慢,并且不能很好地扩展

如何设置分区器并缓存Product因子?

添加演示此问题的代码:

from pyspark import SparkContext
import sys

sc = SparkContext("spark://hadoop-m:7077", "recommend")    
from pyspark.mllib.recommendation import ALS, MatrixFactorizationModel, Rating
model = MatrixFactorizationModel.load(sc, "model")
model.productFeatures.cache()
Run Code Online (Sandbox Code Playgroud)

我得到:

回溯(最近调用最后一次):文件"/home/me/recommend.py",第7行,在model.productFeatures.cache()中AttributeError:'function'对象没有属性'cache'

apache-spark rdd pyspark apache-spark-mllib

5
推荐指数
1
解决办法
1383
查看次数

标签 统计

apache-spark ×1

apache-spark-mllib ×1

pyspark ×1

rdd ×1