swe*_*eet 5 python pickle multiprocessing pandas
我有一个很大pandas.DataFrame的内存负载,我想将它分成五个部分,以便使用模块中Pool的工作人员独立处理这些部分multiprocessing。
我的问题是我pandas.DataFrame的太大了,我无法将每个部分作为参数传递给我的multiprocessing函数:我收到一个pickle错误。
我的问题是:如何DataFrame将已经加载到 RAM 中的这些部分作为参数传递给我的函数,而不显式传递数据帧。
换句话说,是否可以将某种指向每个函数的 RAM 地址的指针传递DataFrame给multiprocessing函数,而不是完整的DataFrames?