我在PySpark ML中创建自定义Transformer的评论部分找到了相同的讨论,但没有明确的答案.还有一个未解决的JIRA对应于:https://issues.apache.org/jira/browse/SPARK-17025.
鉴于Pyspark ML管道没有提供用于保存用python编写的自定义转换器的选项,有什么其他选项可以完成它?如何在我的python类中实现返回兼容java对象的_to_java方法?
Window 类的 pyspark 文档开头为:class pyspark.sql.Window但是如果执行代码:
import pyspark.sql.Window
Run Code Online (Sandbox Code Playgroud)
一个得到以下错误:
ImportError: No module named Window
另一方面,如果执行代码:
from pyspark.sql.window import Window
Run Code Online (Sandbox Code Playgroud)
不会产生错误。
这似乎是不协调的。这是文档中的错误吗?