相关疑难解决方法(0)

Spark Scala API 有一个Dataset#transform方法可以轻松链接自定义 DataFrame 转换，如下所示：

val weirdDf = df
  .transform(myFirstCustomTransformation)
  .transform(anotherCustomTransformation)

我在文档中没有看到pyspark的等效transform方法。

是否有 PySpark 方式来链接自定义转换？

如果没有，如何对pyspark.sql.DataFrame类进行猴子修补以添加transform方法？

更新

从PySpark 3.0 开始，transform 方法被添加到 PySpark中。