pandas:使用运算符链接过滤DataFrame行

Question

在大部分操作pandas可以与运营商链接(来完成groupby,aggregate,apply,等),但我发现过滤行的唯一方法是通过正常的托架索引

df_filtered = df[df['column'] == value]

这是没有吸引力的,因为它需要df在能够过滤其值之前分配给变量.有更像以下的东西吗？

df_filtered = df.mask(lambda x: x['column'] == value)

Answer 1

我不完全确定你想要什么,你的最后一行代码也无济于事,但无论如何:

"链式"过滤是通过"链接"布尔索引中的条件来完成的.

In [96]: df
Out[96]:
   A  B  C  D
a  1  4  9  1
b  4  5  0  2
c  5  5  1  0
d  1  3  9  6

In [99]: df[(df.A == 1) & (df.D == 6)]
Out[99]:
   A  B  C  D
d  1  3  9  6

如果要链接方法,可以添加自己的掩码方法并使用该方法.

In [90]: def mask(df, key, value):
   ....:     return df[df[key] == value]
   ....:

In [92]: pandas.DataFrame.mask = mask

In [93]: df = pandas.DataFrame(np.random.randint(0, 10, (4,4)), index=list('abcd'), columns=list('ABCD'))

In [95]: df.ix['d','A'] = df.ix['a', 'A']

In [96]: df
Out[96]:
   A  B  C  D
a  1  4  9  1
b  4  5  0  2
c  5  5  1  0
d  1  3  9  6

In [97]: df.mask('A', 1)
Out[97]:
   A  B  C  D
a  1  4  9  1
d  1  3  9  6

In [98]: df.mask('A', 1).mask('D', 6)
Out[98]:
   A  B  C  D
d  1  3  9  6

Answer 2

可以使用Pandas 查询链接过滤器:

df = pd.DataFrame( np.random.randn(30,3), columns = ['a','b','c'])
df_filtered = df.query('a>0').query('0<b<2')

过滤器也可以组合在一个查询中:

df_filtered = df.query('a>0 and 0<b<2')

Answer 3

@lodagro的答案很棒.我会通过将掩码函数概括为:

def mask(df, f):
  return df[f(df)]

然后你可以做的事情:

df.mask(lambda x: x[0] < 0).mask(lambda x: x[1] > 0)

Answer 4

从版本0.18.1开始,该.loc方法接受可调用以供选择.与lambda函数一起,您可以创建非常灵活的可链接过滤器:

import numpy as np
import pandas as pd

df = pd.DataFrame(np.random.randint(0,100,size=(100, 4)), columns=list('ABCD'))
df.loc[lambda df: df.A == 80]  # equivalent to df[df.A == 80] but chainable

df.sort_values('A').loc[lambda df: df.A > 80].loc[lambda df: df.B > df.A]

如果你所做的只是过滤,你也可以省略.loc.

Answer 5

我提供此附加示例.这与/sf/answers/1971150751/的答案相同

我将添加其他编辑,以使这篇文章更有用.

pandas.DataFrame.query
query是为了这个目的.考虑数据帧df

import pandas as pd
import numpy as np

np.random.seed([3,1415])
df = pd.DataFrame(
    np.random.randint(10, size=(10, 5)),
    columns=list('ABCDE')
)

df

   A  B  C  D  E
0  0  2  7  3  8
1  7  0  6  8  6
2  0  2  0  4  9
3  7  3  2  4  3
4  3  6  7  7  4
5  5  3  7  5  9
6  8  7  6  4  7
7  6  2  6  6  5
8  2  8  7  5  8
9  4  7  6  1  5

让我们query用来过滤所有行D > B

df.query('D > B')

   A  B  C  D  E
0  0  2  7  3  8
1  7  0  6  8  6
2  0  2  0  4  9
3  7  3  2  4  3
4  3  6  7  7  4
5  5  3  7  5  9
7  6  2  6  6  5

我们链

df.query('D > B').query('C > B')
# equivalent to
# df.query('D > B and C > B')
# but defeats the purpose of demonstrating chaining

   A  B  C  D  E
0  0  2  7  3  8
1  7  0  6  8  6
4  3  6  7  7  4
5  5  3  7  5  9
7  6  2  6  6  5

Answer 6

我有同样的问题,除了我想将标准组合成OR条件.Wouter Overmeire给出的格式将标准组合成AND条件,这样两者都必须满足:

In [96]: df
Out[96]:
   A  B  C  D
a  1  4  9  1
b  4  5  0  2
c  5  5  1  0
d  1  3  9  6

In [99]: df[(df.A == 1) & (df.D == 6)]
Out[99]:
   A  B  C  D
d  1  3  9  6

但是我发现,如果你将每个条件包装起来(... == True)并用管道连接标准,那么条件就会在OR条件下组合,只要其中任何一个为真,就满足:

df[((df.A==1) == True) | ((df.D==6) == True)]

Answer 7

我的答案与其他答案相似.如果您不想创建新功能,您可以使用熊猫为您定义的内容.使用管道方法.

df.pipe(lambda d: d[d['column'] == value])

Answer 8

熊猫为Wouter Overmeire的回答提供了两种替代方法，不需要任何替代。一个是.loc[.]可调用的，例如

df_filtered = df.loc[lambda x: x['column'] == value]

另一个是.pipe()，如

df_filtered = df.pipe(lambda x: x['column'] == value)

Answer 9

只是想添加一个演示loc，不仅可以按行还可以按列过滤，以及对链式操作的一些优点。

下面的代码可以按值过滤行。

df_filtered = df.loc[df['column'] == value]

通过稍微修改它，您也可以过滤列。

df_filtered = df.loc[df['column'] == value, ['year', 'column']]

那么为什么我们需要一个链式方法呢？答案是，如果你有很多操作，它很容易阅读。例如，

res =  df\
    .loc[df['station']=='USA', ['TEMP', 'RF']]\
    .groupby('year')\
    .agg(np.nanmean)