Spark 将新的拟合阶段添加到现有 PipelineModel 中，无需再次拟合

Question

我有一个保存的 PipelineModel：

pipe_model = pipe.fit(df_train)
pipe_model.write().overwrite().save("/user/pipe_text_2")

现在我想向此管道添加一个新的已安装的 PipelineModel：

pipe_model = PipelineModel.load("/user/pipe_text_2")
df2 = pipe_model.transform(df1)

kmeans = KMeans(k=20)
pipe2 = Pipeline(stages=[kmeans])
pipe_model2 = pipe2.fit(df2)

不用重新装也可以吗？为了获得一个新的PipelineModel但不是一个新的Pipeline。理想的情况如下：

pipe_model_new = pipe_model + pipe_model2
TypeError: unsupported operand type(s) for +: 'PipelineModel' and 'PipelineModel'

我发现将两个 Spark mllib 管道连接在一起，但是使用此解决方案，您需要再次安装整个管道。这就是我试图避免的。

Answer 1

由于s对于类来说PipelineModel是有效的，因此您应该能够使用它，而无需再次使用 ing ：stagePipelieModelfit

pipe_model_new = PipelineModel(stages = [pipe_model , pipe_model2])
final_df = pipe_model_new.transform(df1)