小编use*_*303的帖子

我经常需要将函数应用于非常大的DataFrame(混合数据类型)组,并希望利用多个核心.

我可以从组中创建一个迭代器并使用多处理模块,但它效率不高,因为必须对每个组和函数的结果进行pickle以便在进程之间进行消息传递.

有没有办法避免酸洗甚至避免DataFrame完全复制？看起来多处理模块的共享存储器功能仅限于numpy数组.还有其他选择吗？

我经常想要通过组合分组DataFrame的多个列来创建新的DataFrame.apply()函数允许我这样做,但它需要我创建一个不需要的索引:

 In [359]: df = pandas.DataFrame({'x': 3 * ['a'] + 2 * ['b'], 'y': np.random.normal(size=5), 'z': np.random.normal(size=5)})

 In [360]: df
 Out[360]: 
    x         y         z
 0  a  0.201980 -0.470388
 1  a  0.190846 -2.089032
 2  a -1.131010  0.227859
 3  b -0.263865 -1.906575
 4  b -1.335956 -0.722087

 In [361]: df.groupby('x').apply(lambda x: pandas.DataFrame({'r': (x.y + x.z).sum() / x.z.sum(), 's': (x.y + x.z ** 2).sum() / x.z.sum()}))
 ---------------------------------------------------------------------------
 ValueError                                Traceback (most recent call last)
 /home/emarkley/work/src/partner_analysis2/main.py in <module>()
 ----> 1 df.groupby('x').apply(lambda x: pandas.DataFrame({'r': (x.y + x.z).sum() …

计算Pandas 0.8中TimeSeries的时间加权平均值的最有效方法是什么？例如,假设我想要df.y - df.x下面创建的时间加权平均值:

import pandas
import numpy as np
times = np.datetime64('2012-05-31 14:00') + np.timedelta64(1, 'ms') * np.cumsum(10**3 * np.random.exponential(size=10**6))
x = np.random.normal(size=10**6)
y = np.random.normal(size=10**6)
df = pandas.DataFrame({'x': x, 'y': y}, index=times)

我觉得这个操作应该很容易做到,但我尝试过的所有内容都涉及到几个混乱和缓慢的类型转换.