pyspark sql数据框仅保留null

Question

我有一个 sql 数据框df，并且有一列user_id，如何过滤数据框并仅保留user_id实际上为空以进行进一步分析？从这里的pyspark 模块页面，人们可以轻松地删除 na 行，但没有说明如何执行相反的操作。

尝试过df.filter(df.user_id == 'null')，但结果是 0 列。也许它正在寻找字符串“null”。也df.filter(df.user_id == null)不起作用，因为它正在寻找名为“null”的变量

Answer 1

尝试

df.filter(df.user_id.isNull())