在Python 3.4中的不同进程之间共享大对象

Question

我试图在Python中的不同进程之间共享一个大对象(~2 GB),以减少内存使用量.我已经了解了多处理库中的Manager类和代理(https://docs.python.org/3.4/library/multiprocessing.html#multiprocessing-managers).但是,根据文档和其他Stackoverflow用户,当它用于像这样的大型对象时,这可能会非常慢.这是正确的,如果是这样,是否有另一个更快的Python库或函数,我可以使用？谢谢.

编辑:我创建的对象是一个DAG(有向无环图),其构造函数由标准的python值组成.

Answer 1

如果您的数据仅限于标准值和数组（没有其他 Python 对象），您可以使用共享内存（Value() 和 Array()，请参阅https://docs.python.org/3.4/library/multiprocessing.html#shared -ctypes-对象）。它非常快。