小编dmb*_*ker的帖子

使用python序列化自定义转换器以在Pyspark ML管道中使用

在PySpark ML创建自定义Transformer的评论部分找到了相同的讨论,但没有明确的答案.还有一个未解决的JIRA对应于:https://issues.apache.org/jira/browse/SPARK-17025.

鉴于Pyspark ML管道没有提供用于保存用python编写的自定义转换器的选项,有什么其他选项可以完成它?如何在我的python类中实现返回兼容java对象的_to_java方法?

pyspark apache-spark-ml

10
推荐指数
2
解决办法
3855
查看次数

导入错误:没有名为 Window 的模块,但从导入工作

Window 类的 pyspark 文档开头为:class pyspark.sql.Window但是如果执行代码:

import pyspark.sql.Window
Run Code Online (Sandbox Code Playgroud)

一个得到以下错误:

ImportError: No module named Window

另一方面,如果执行代码:

from pyspark.sql.window import Window
Run Code Online (Sandbox Code Playgroud)

不会产生错误。

这似乎是不协调的。这是文档中的错误吗?

python pyspark pyspark-sql

1
推荐指数
1
解决办法
812
查看次数

标签 统计

pyspark ×2

apache-spark-ml ×1

pyspark-sql ×1

python ×1