Python/Pyspark - 计数NULL,空和NaN

Question

我想在列中计算NULL,空和NaN值.我试过这样的:

df.filter( (df["ID"] == "") | (df["ID"].isNull()) | ( df["ID"].isnan()) ).count()

但我总是收到此错误消息:

TypeError: 'Column' object is not callable

有谁知道可能是什么问题？

提前谢谢了!

Answer 1

isnan不是属于Column该类的方法,您需要导入它:

from pyspark.sql.functions import isnan

并使用它像:

df.filter((df["ID"] == "") | df["ID"].isNull() | isnan(df["ID"])).count()