pyspark ml推荐 - 所有推荐

Question

HY,

我是Spark的新手,我正在尝试使用ML推荐.

我的守则

df = sqlContext.createDataFrame(
[(0, 0, 4.0), (0, 1, 2.0), (1, 1, 3.0), (1, 2, 4.0), (2, 1, 1.0), (2, 2, 5.0)],
["user", "item", "rating"])

als = ALS(rank=10, maxIter=5)

model = als.fit(df)

model.userFactors.orderBy("id").collect()

如何为所有电影的所有用户获得2推荐？

谢谢你的时间.

Answer 1

它不是直接可能的ml.recommendation.ALSModel.你可以使用transform方法

users = df.select("user").distinct()
items = df.select("item").distinct()

model.transform(users.join(items))

然后过滤结果,但效率极低.据我所知,最好在mllib.recommendation.ALS这里使用:

from pyspark.mllib.recommendation import ALS, Rating

model = ALS.train(df.rdd.map(lambda r: Rating(*r)), 10, 5)
model.recommendProductsForUsers(2)