Python的multiprocessing.Pool是否支持远程子进程？

Question

我最近发现Pool.map()简单的多处理任务有多棒,但我的本地机器只有两个处理器,我希望利用一些远程计算资源.

是否可以构建处理池以透明方式使用远程计算机以及本地计算机？

我需要在远程计算机上运行什么python代码,如何在本地(主)计算机上设置池？

在多处理的文档页面上,它说管理器将用于共享对象,但我不清楚它们应该如何用于远程池.除了Managers之外,没有任何东西可以提及端口和地址,所以我猜测所有远程活动都是通过这个类发生的.

Answer 1

multiprocessing.Pool似乎不是为分布式处理而设计的——如果这就是您想要做的，我建议您查看该execnet软件包。它通过 SSH 管道工作，并在必要时将代码发送到远程 Python 解释器。