小编dg *_*g S的帖子

如何在pyspark数据框中返回具有空值的行?

我试图从pyspark数据框中获取具有空值的行。在熊猫中,我可以isnull()在数据框上使用以下方法实现此目的:

df = df[df.isnull().any(axis=1)]
Run Code Online (Sandbox Code Playgroud)

但是在PySpark的情况下,当我在以下命令下运行时,它将显示Attributeerror:

df.filter(df.isNull())
Run Code Online (Sandbox Code Playgroud)

AttributeError:“ DataFrame”对象没有属性“ isNull”。

如何在不检查每一列的情况下获取具有空值的行?

python bigdata apache-spark-sql pyspark pyspark-sql

2
推荐指数
1
解决办法
1984
查看次数

标签 统计

apache-spark-sql ×1

bigdata ×1

pyspark ×1

pyspark-sql ×1

python ×1