无法加载 PySpark ALS 模型

Question

我正在尝试加载使用 Pyspark 创建的模型。我使用以下代码创建了模型：

import pandas as pd
from pyspark.ml.evaluation import RegressionEvaluator
from pyspark.ml.recommendation import ALS
from pyspark.ml.tuning import TrainValidationSplit, ParamGridBuilder
from pyspark.context import SparkContext
from pyspark.sql.session import SparkSession
sc = SparkContext('local')
spark = SparkSession(sc)

data = pd.read_csv('matrix-out-small.csv')
df = spark.createDataFrame(data)

(training, test) = df.randomSplit([0.8, 0.2])

als = ALS(userCol="CustomerID", itemCol="ProductID", ratingCol="Rating", coldStartStrategy="drop", nonnegative=True)

# Tune model using param grid builder
param_grid = ParamGridBuilder().addGrid(als.rank, [12, 13, 14]).addGrid(als.maxIter, [18, 19, 20]).addGrid(als.regParam, [.17, .18, .19]).build()

evaluator = RegressionEvaluator(metricName="rmse", labelCol="Rating", predictionCol="prediction")

tvs = TrainValidationSplit(estimator=als, estimatorParamMaps=param_grid, evaluator=evaluator)

# fit model to training data
model = tvs.fit(training)

# extract best
best_model = model.bestModel  

best_model.save("modelSaveOut")

这将创建一个名为“ModelSaveOut”的目录，其中包含“ItemFactors”、“metadata”和“userFactors”

当我尝试使用 ALS.load 加载模型时，我得到以下信息：

model = ALS.load("modelSaveOut")

py4j.protocol.Py4JJavaError：调用 o26.load 时发生错误。: java.lang.NoSuchMethodException: org.apache.spark.ml.recommendation.ALSModel.(java.lang.String)

model = TrainValidationSplit.load("modelSaveOut")

py4j.protocol.Py4JJavaError：调用 o26.load 时发生错误。：java.lang.IllegalArgumentException：要求失败：加载元数据时出错：预期的类名 org.apache.spark.ml.tuning.TrainValidationSplit 但找到了类名 org.apache.spark.ml.recommendation.ALSModel

似乎我没有使用正确的对象/方法加载模型。是否可以保存“bestModel”，还是我需要使用不同的方法保存整个模型？

Answer 1

如果您阅读异常跟踪

但发现类名 org.apache.spark.ml.recommendation.ALSModel

它会准确地告诉你该怎么做：

 from pyspark.ml.recommendation import ALS, ALSModel

 ALSModel.load("modelSaveOut")