小编Mir*_*ola的帖子

如何过滤pyspark数据帧中的空值?

假设我们有一个简单的数据框:

from pyspark.sql.types import *

schema = StructType([
StructField('id', LongType(), False),
StructField('name', StringType(), False),
StructField('count', LongType(), True),
])
df = spark.createDataFrame([(1,'Alice',None), (2,'Bob',1)], schema)
Run Code Online (Sandbox Code Playgroud)

问题是如何检测空值?我尝试了以下方法:

df.where(df.count == None).show()
df.where(df.count is 'null').show()
df.where(df.count == 'null').show()
Run Code Online (Sandbox Code Playgroud)

它导致错误:

condition should be string or Column
Run Code Online (Sandbox Code Playgroud)

我知道以下作品:

df.where("count is null").show()
Run Code Online (Sandbox Code Playgroud)

但是有没有办法在没有完整字符串的情况下实现?即df.count……?

null filter pyspark

3
推荐指数
2
解决办法
3万
查看次数

标签 统计

filter ×1

null ×1

pyspark ×1