我有一个非常大的DataFrame,我想知道是否有短(一或两个班轮)方式来获取DataFrame中非NaN条目的数量.我不希望一次只做一列,因为我有接近1000列.
df1 = pd.DataFrame([(1,2,None),(None,4,None),(5,None,7),(5,None,None)],
columns=['a','b','d'], index = ['A', 'B','C','D'])
a b d
A 1 2 NaN
B NaN 4 NaN
C 5 NaN 7
D 5 NaN NaN
输出:
a: 3
b: 2
d: 1
我有一个dataset缺少值,我想得到每列的缺失值的数量.以下是我所做的,我得到了非缺失值的数量.如何使用它来获取缺失值的数量？
df.describe().filter($"summary" === "count").show
+-------+---+---+---+
|summary| x| y| z|
+-------+---+---+---+
| count| 1| 2| 3|
+-------+---+---+---+
请帮助dataframe我们找到一个列,并为每个列找到缺失值的列数.
非常感谢