大熊猫Dataframe并行处理

Question

我正在访问一个非常大的Pandas数据帧作为全局变量.通过joblib并行访问此变量.

例如.

df = db.query("select id, a_lot_of_data from table")

def process(id):
    temp_df = df.loc[id]
    temp_df.apply(another_function)

Parallel(n_jobs=8)(delayed(process)(id) for id in df['id'].to_list())

以这种方式访问​​原始df似乎是跨进程复制数据.这是意料之外的,因为原始df在任何子进程中都没有被改变？(或者是吗？)

Answer 1

对于joblib创建的每个进程,需要对整个DataFrame进行pickle和unpickled.在实践中,这非常慢并且还需要很多次的记忆.

一种解决方案是df.to_hdf使用表格格式将数据存储在HDF()中.然后,您可以使用select选择数据子集进行进一步处理.在实践中,这对于交互式使用来说太慢了.它也非常复杂,您的工作人员需要存储他们的工作,以便在最后一步中进行整合.

另一种方法是探索numba.vectorize用target='parallel'.这将需要使用NumPy数组而不是Pandas对象,因此它也有一些复杂性成本.

从长远来看,dask希望为Pandas带来并行执行,但这不是很快就会有所期待的.