更快地替代pandas中的Series.add函数

Question

我想把两个大熊猫系列加在一起.第一个系列非常大,有一个MultiIndex.第二个系列的索引是第一个系列索引的一小部分.

    df1 = pd.DataFrame(np.ones((1000,5000)),dtype=int).stack()
    df1 = pd.DataFrame(df1, columns = ['total'])
    df2 = pd.concat([df1.iloc[50:55],df1.iloc[2000:2005]])  # df2 is tiny subset of df1

使用常规的Series.add函数第一次需要大约9秒,后续尝试需要2秒(可能是因为pandas优化了df在内存中的存储方式？).

    starttime = time.time()
    df1.total.add(df2.total,fill_value=0).sum()
    print "Method 1 took %f seconds" % (time.time() - starttime)

手动迭代行大约是Series.add第一次的2/3,并且在后续尝试时大约是Series.add的1/100.

    starttime = time.time()
    result = df1.total.copy()
    for row_index, row in df2.iterrows():
        result[row_index] += row
    print "Method 2 took %f seconds" % (time.time() - starttime)

当(如此处)索引是MultiIndex时,速度差异尤其明显.

为什么Series.add在这里不能正常工作？有什么建议加快这个？迭代系列的每个元素是否有更有效的替代方法？

另外,如何对数据框进行排序或构造以提高任一方法的性能？第二次运行这些方法中的任何一个都要快得多.我如何第一次获得这种表现？使用sort_index进行排序只能有所帮助.

Answer 1

您不需要 for 循环：

df1.total[df2.index] += df2.total