当特定列在pandas中具有空值时选择数据

Question

我有一个数据框，其中有2个我要过滤的日期字段，并且当任何一个日期字段为null时都可以看到行。

ID          Date1       Date2
58844880    04/11/16    NaN
59745846    04/12/16    04/14/16
59743311    04/13/16    NaN
59745848    04/14/16    04/11/16
59598413    NaN         NaN
59745921    04/14/16    04/14/16
59561199    04/15/16    04/15/16
NaN         04/16/16    04/16/16
59561198    NaN         04/17/16

它应该如下图所示

ID          Date1       Date2
58844880    04/11/16    NaN
59743311    04/13/16    NaN
59598413    NaN         NaN
59561198    NaN         04/17/16

尝试过代码 df = (df['Date1'].isnull() | df['Date1'].isnull())

Answer 1

用途boolean indexing：

mask = df['Date1'].isnull() | df['Date2'].isnull()
print (df[mask])
           ID     Date1     Date2
0  58844880.0  04/11/16       NaN
2  59743311.0  04/13/16       NaN
4  59598413.0       NaN       NaN
8  59561198.0       NaN  04/17/16

时间：

#[900000 rows x 3 columns]
df = pd.concat([df]*100000).reset_index(drop=True)

In [12]: %timeit (df[df['Date1'].isnull() | df['Date2'].isnull()])
10 loops, best of 3: 89.3 ms per loop

In [13]: %timeit (df[df.filter(like='Date').isnull().any(1)])
10 loops, best of 3: 146 ms per loop

Answer 2

快速查看任一列是否有空值

df.isnull().any()

计算具有空值的行数

df.isnull().sum()

获取具有空值的行

（1）创建空值真值表（即根据是否有空值在每个列/单元格中创建具有True/False的数据框）

truth_table = df.isnull()

(2) 创建真值表，明确显示哪些行具有空值

conclusive_truth_table = truth_table.any(axis='columns')

(3) 隔离/显示具有任何空值的行

df[conclusive_truth_table]

(1)-(3) 综合起来

df[df.isnull().any(axis='columns')]

或者

隔离任何指定列中具有空值的行

df.loc[:,['Date1','Date2']].isnull().any(axis='columns')

隔离两个指定列中具有空值的行

df[ df.loc[ :,['Date1','Date2'] ].isnull().sum(axis=1) == 2]