在没有 Spark 上下文的情况下在推理时使用 PySpark 管道模型

Question

工作流程：

• 为了预处理我们的原始数据，我们使用 PySpark。由于数据的大小，我们需要使用 Spark。
• PySpark 预处理作业使用管道模型，允许您将预处理逻辑导出到文件。
• 通过管道模型导出预处理逻辑，您可以在推理时加载管道模型。像这样，您不需要对预处理逻辑进行两次编码。
• 在推理时，我们更愿意在没有 Spark 上下文的情况下执行预处理步骤。Spark Context 在推理时是多余的，它会减慢执行推理所需的时间。

我正在查看Mleap，但这仅支持 Scala 语言在没有 Spark 上下文的情况下进行推理。由于我们使用 PySpark，所以坚持使用 Python 语言会很好。

问题：什么是一个好的替代方案，可以让您在训练阶段在 (Py)Spark 中构建管道模型，并让您使用 Python 语言重用此管道模型，而不需要 Spark 上下文？