如何在python中运行并行程序

Question

我有一个python脚本使用os.subprocess模块​​运行一些外部命令.但其中一个步骤需要很长时间,所以我想分开运行它.我需要启动它们,检查它们是否已完成,然后执行下一个不平行的命令.我的代码是这样的:

nproc = 24 
for i in xrange(nproc):
    #Run program in parallel

#Combine files generated by the parallel step
for i in xrange(nproc):
    handle = open('Niben_%s_structures' % (zfile_name), 'w')
    for i in xrange(nproc):
        for zline in open('Niben_%s_file%d_structures' % (zfile_name,i)):handle.write(zline)
    handle.close()

#Run next step
cmd = 'bowtie-build -f Niben_%s_precursors.fa bowtie-index/Niben_%s_precursors' % (zfile_name,zfile_name)

Answer 1

对于您的示例,您只想并行shell - 您不需要线程.

使用模块中的Popen构造函数subprocess:http://docs.python.org/library/subprocess.htm

收集Popen您生成的每个进程的实例,然后wait()完成它们:

procs = []
for i in xrange(nproc):
    procs.append(subprocess.Popen(ARGS_GO_HERE)) #Run program in parallel
for p in procs:
    p.wait()

你可以逃避这个(而不是使用multiprocessing或threading模块),因为你并不真的对这些互操作感兴趣 - 你只是希望操作系统并行运行它们并确保它们在你组合时都完成了结果...

Answer 2

您可以使用线程来完成此操作。这是一个非常短且（未经测试）的示例，其中关于您在线程中实际执行的操作的 if-else 非常丑陋，但是您可以编写自己的工作程序类。

import threading

class Worker(threading.Thread):
    def __init__(self, i):
        self._i = i
        super(threading.Thread,self).__init__()

    def run(self):
        if self._i == 1:
            self.result = do_this()
        elif self._i == 2:
            self.result = do_that()

threads = []
nproc = 24 
for i in xrange(nproc):
    #Run program in parallel        
    w = Worker(i)
    threads.append(w)
    w.start()
    w.join()

# ...now all threads are done

#Combine files generated by the parallel step
for i in xrange(nproc):
    handle = open('Niben_%s_structures' % (zfile_name), 'w')
    ...etc...