Python并行处理库

Question

Python似乎有许多不同的包可用于协助基于SMP的系统或群集上的并行处理.我有兴趣构建一个客户端服务器系统,其中服务器维护一个作业队列,客户端(本地或远程)连接并运行作业,直到队列为空.在上面列出的包中,建议使用哪些包？

编辑:特别是,我编写了一个模拟器,它接受了一些输入并处理了一段时间.我需要从模拟中收集足够的样本来估计用户指定的置信区间内的平均值.为了加快速度,我希望能够在许多不同的系统上运行模拟,每个系统都会以一定的间隔向服务器报告他们收集的样本.然后,服务器计算置信区间并确定客户端进程是否需要继续.收集到足够的样本后,服务器终止所有客户端模拟,根据过去的结果重新配置模拟,并重复这些过程.

由于需要客户端和服务器进程之间的相互通信,我质疑批量调度是否是一个可行的解决方案.对不起,我应该更清楚一点.

Answer 1

尝试一下ParallelPython。看起来很容易使用，并且应该提供您想要的作业和队列接口。