访问Pandas DataFrame的最快方法是什么？

Question

我有一个541列的DataFrame df,我需要将其所有唯一的列名称保存到单独的DataFrame的行中,每个重复8次.

我以为我会创建一个空的DataFrame fp,通过df的列名双循环,插入每个第8行,并用最后一个可用值填充空白.

当我试图做到这一点虽然我感到困惑的是它花了多长时间.有541列,我只需写146,611次,但它超过20分钟.对于数据访问而言,这似乎是令人震惊的.问题在哪里,我该如何解决？花费较少的时间比Pandas用列生成相关矩阵所以我必须做错事.

这是我的意思的可重现的例子:

fp = np.empty(shape = (146611, 10))
fp.fill(np.nan)

fp = pd.DataFrame(fp)

%timeit for idx in range(0, len(fp)): fp.iloc[idx, 0] = idx

# 1 loop, best of 3: 22.3 s per loop

Answer 1

不要做iloc/loc/chained-indexing.单独使用NumPy接口可将速度提高约180倍.如果您进一步删除元素访问权限,我们可以将其增加到180,000x.

fp = np.empty(shape = (146611, 10))
fp.fill(np.nan)

fp = pd.DataFrame(fp)

# this confirms how slow data access is on my computer
%timeit for idx in range(0, len(fp)): fp.iloc[idx, 0] = idx

1 loops, best of 3: 3min 9s per loop

# this accesses the underlying NumPy array, so you can directly set the data
%timeit for idx in range(0, len(fp)): fp.values[idx, 0] = idx

1 loops, best of 3: 1.19 s per loop

这是因为在这个扇形索引的Python层中有大量的代码,每个循环需要大约10μs.应该使用Pandas索引来检索整个数据子集,然后使用这些子集对整个数据帧进行矢量化操作.单个元素访问是冰冷的:使用Python词典可以使性能提高180倍.

当您访问列或行而不是单个元素时,事情变得更好:3个数量级更好.

# set all items in 1 go.
%timeit fp[0] = np.arange(146611)
1000 loops, best of 3: 814 µs per loop

道德

不要尝试通过链式索引来访问单个元素loc,或iloc.从单个分配中生成NumPy数组,从Python列表(如果性能绝对关键,则为C接口),然后对整个列或数据帧执行操作.

使用NumPy数组并直接在列而不是单个元素上执行操作,我们的性能提升了180,000倍.不是太寒酸.

编辑

来自@kushy的评论表明,自从我最初写这个答案以来,Pandas可能在某些情况下优化了索引.始终描述您自己的代码,您的里程可能会有所不同.