如何按多列过滤pandas数据帧

Question

要按单列过滤数据框(df),如果我们考虑男性和女性的数据,我们可能会:

males = df[df[Gender]=='Male']

问题1 - 但如果数据跨越多年并且我只想看2014年的男性怎么办？

在其他语言中,我可能会这样做:

if A = "Male" and if B = "2014" then 

(除了我想这样做并在新的dataframe对象中获取原始数据帧的子集)

问题2.如何在循环中执行此操作,并为每个独特的年份和性别集创建数据框对象(即:2013年男性,2013年女性,2014年男性和2014年女性的df

for y in year:

for g in gender:

df = .....

Answer 1

使用&运算符,不要忘记用以下内容包装子语句():

males = df[(df[Gender]=='Male') & (df[Year]==2014)]

要dict使用for循环存储数据帧:

from collections import defaultdict
dic={}
for g in ['male', 'female']:
  dic[g]=defaultdict(dict)
  for y in [2013, 2014]:
    dic[g][y]=df[(df[Gender]==g) & (df[Year]==y)] #store the DataFrames to a dict of dict

编辑:

您的演示getDF:

def getDF(dic, gender, year):
  return dic[gender][year]

print genDF(dic, 'male', 2014)

Answer 2

对于您希望用作过滤器并且依赖于多个列的更一般的布尔函数,您可以使用:

df = df[df[['col_1','col_2']].apply(lambda x: f(*x), axis=1)]

其中f是一个函数,它应用于col_1和col_2中的每对元素(x1,x2),并根据你想要的任何条件(x1,x2)返回True或False.

Answer 3

如果有人想知道什么是更快的过滤方式（接受的答案或来自@redreamality 的答案）：

import pandas as pd
import numpy as np

length = 100_000
df = pd.DataFrame()
df['Year'] = np.random.randint(1950, 2019, size=length)
df['Gender'] = np.random.choice(['Male', 'Female'], length)

%timeit df.query('Gender=="Male" & Year=="2014" ')
%timeit df[(df['Gender']=='Male') & (df['Year']==2014)]

100,000 行的结果：

6.67 ms ± 557 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)
5.54 ms ± 536 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

10,000,000 行的结果：

326 ms ± 6.52 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
472 ms ± 25.1 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

所以结果取决于大小和数据。在我的笔记本电脑上，50 万query()行后变得更快。此外，字符串搜索Year=="2014"有不必要的开销（Year==2014更快）。

Answer 4

从pandas 0.13开始，这是最有效的方式。

df.query('Gender=="Male" & Year=="2014" ')

Answer 5

由于您正在寻找基本上满足 Column_A='Value_A' 和 Column_B='Value_B' 条件的行

你可以使用loc

df = df.loc[df['Column_A'].eq('Value_A') & df['Column_B'].eq('Value_B')]

你可以在这里找到完整的文档panda loc

Answer 6

您可以使用queryin创建自己的过滤器函数pandas。在这里，您可以df按所有kwargs参数过滤结果。不要忘记添加一些验证器（kwargs过滤）以获取您自己的过滤功能df。

def filter(df, **kwargs):
    query_list = []
    for key in kwargs.keys():
        query_list.append(f'{key}=="{kwargs[key]}"')
    query = ' & '.join(query_list)
    return df.query(query)