pandas:索引数据框时的多个条件 - 意外行为

Question

我通过两列中的值过滤数据框中的行.

由于某种原因,OR运算符的行为与我期望AND运算符的行为相反,反之亦然.

我的测试代码:

import pandas as pd

df = pd.DataFrame({'a': range(5), 'b': range(5) })

# let's insert some -1 values
df['a'][1] = -1
df['b'][1] = -1
df['a'][3] = -1
df['b'][4] = -1

df1 = df[(df.a != -1) & (df.b != -1)]
df2 = df[(df.a != -1) | (df.b != -1)]

print pd.concat([df, df1, df2], axis=1,
                keys = [ 'original df', 'using AND (&)', 'using OR (|)',])

结果如下:

      original df      using AND (&)      using OR (|)    
             a  b              a   b             a   b
0            0  0              0   0             0   0
1           -1 -1            NaN NaN           NaN NaN
2            2  2              2   2             2   2
3           -1  3            NaN NaN            -1   3
4            4 -1            NaN NaN             4  -1

[5 rows x 6 columns]

如您所见,AND运算符会丢弃至少一个值等于的每一行-1.另一方面,OR运算符要求两个值都等于-1丢弃它们.我期望完全相反的结果.有人能解释一下这种行为吗？

我正在使用熊猫0.13.1.

Answer 1

如您所见,AND运算符删除其中至少有一个值等于-1的每一行.另一方面,OR运算符要求两个值都等于-1才能删除它们.

那就对了.请记住,您根据自己想要保留的内容来编写条件,而不是根据要删除的内容.用于df1:

df1 = df[(df.a != -1) & (df.b != -1)]

你说的是"保持行df.a不在-1并且df.b不是-1",这与删除其中至少有一个值为-1的每一行相同.

用于df2:

df2 = df[(df.a != -1) | (df.b != -1)]

你说的是"保持行中的任何一个df.a或df.b不是-1",这与删除两个值为-1的行相同.

PS:链接访问就像df['a'][1] = -1可以让你陷入困境.养成使用.loc和使用习惯更好.iloc.

Answer 2

你可以使用query(),即:

df_filtered = df.query('a == 4 & b != 2')

Answer 3

这里有一些数学逻辑理论：

“ NOT a AND NOT b”与“ NOT（a OR b）”相同，因此：

“ a NOT -1 AND b NOT -1” 等同于 “ NOT（a为-1 OR b为-1）”，与“（a is -1 OR b为-1）”的（补码）相反。

因此，如果您想要完全相反的结果，则df1和df2应该如下所示：

df1 = df[(df.a != -1) & (df.b != -1)]
df2 = df[(df.a == -1) | (df.b == -1)]