将大数据帧作为参数传递给多处理函数

swe*_*eet 5 python pickle multiprocessing pandas

我有一个很大pandas.DataFrame的内存负载,我想将它分成五个部分,以便使用模块中Pool的工作人员独立处理这些部分multiprocessing

我的问题是我pandas.DataFrame的太大了,我无法将每个部分作为参数传递给我的multiprocessing函数:我收到一个pickle错误。

我的问题是:如何DataFrame将已经加载到 RAM 中的这些部分作为参数传递给我的函数,而不显式传递数据帧。

换句话说,是否可以将某种指向每个函数的 RAM 地址的指针传递DataFramemultiprocessing函数,而不是完整的DataFrames