我有一个带有一些列的数据框,在进行分析之前,我想了解这样的数据框是多么完整,所以我想过滤数据帧并为每列计算非空值的数量,可能返回数据帧回来了.
基本上,我试图获得与此问题中表达的相同的结果,但使用Scala而不是Python ...
说你有:
val row = Row("x", "y", "z")
val df = sc.parallelize(Seq(row(0, 4, 3), row(None, 3, 4), row(None, None, 5))).toDF()
如何汇总每列的非空数并返回具有相同列数的数据帧,只返回一行的答案？