按类别过滤熊猫数据框的最快方法

Question

我有一个非常大的数据框，有 1 亿行和分类列。我想知道是否有比使用这里提到的.isin()方法或.join()方法更快的按类别选择行的方法。

鉴于数据已经分类，我认为选择类别应该非常快，但我运行的一些测试表现令人失望。我找到的唯一其他解决方案来自此处，但该解决方案似乎不适用于 Pandas 0.20.2。

这是一个示例数据集。

import pandas as pd
import random
import string
df = pd.DataFrame({'categories': [random.choice(string.ascii_letters) 
                                  for _ in range(1000000)]*100,
                   'values': [random.choice([0,1]) 
                              for _ in range(1000000)]*100})
df['categories'] = df['categories'].astype('category')

测试.isin()：

%timeit df[df['categories'].isin(list(string.ascii_lowercase))]
44 s ± 894 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

使用.join()：

%timeit df.set_index('categories').join(
    pd.Series(index=list(string.ascii_lowercase), name='temp'), 
    how='inner').rename_axis('categories').reset_index().drop('temp', 1)
24.7 s ± 1.69 s per loop (mean ± std. dev. of 7 runs, 1 loop each)

Answer 1

这是一种类似但不同的方法，它直接比较值而不是使用isin.

基本map/拉姆达比较：

%timeit df[df['categories'].map(lambda x: x in string.ascii_lowercase)]
> 1 loop, best of 3: 12.3 s per loop

使用isin：

%timeit df[df['categories'].isin(list(string.ascii_lowercase))]
> 1 loop, best of 3: 55.1 s per loop

版本：Py 3.5.1 / IPython 5.1.0 / Pandas 0.20.3

背景：我注意到在您链接到的一篇 SO 帖子中，一位评论者提到需要在执行过程中isin创建一个，因此跳过该步骤并进行基本的列表查找似乎是这里的加速。set()

免责声明：不是我经常处理的规模类型，因此可能有更快的选择。

编辑：根据 JohnGalt 的评论中的要求提供更多详细信息：

df.shape
> (100000000, 2)
df.dtypes
> categories    category
 values           int64
 dtype: object

为了创建示例数据，我复制/粘贴了最初问题中的示例 DF。在 2015 年初的 MBP 型号上运行。