subprocess.wait()没有等待Popen进程完成(使用线程时)？

Question

当subprocess.Popen()我使用线程让我们同时运行它们从我的python脚本生成同一个应用程序的几个实例时,我遇到了一些问题.在每个线程中,我使用popen()调用运行应用程序,然后我等待它通过调用完成wait().问题似乎是wait()-call实际上并不等待进程完成.我只使用一个线程进行实验,并在进程启动时和完成时打印出文本消息.所以线程函数看起来像这样:

def worker():
    while True:
        job = q.get() # q is a global Queue of jobs
        print('Starting process %d' % job['id'])
        proc = subprocess.Popen(job['cmd'], shell=True)
        proc.wait()
        print('Finished process %d' % job['id'])
        job.task_done()

但即使我只使用一个线程,它也会在出现任何"完成进程..."消息之前打印出几个"正在启动进程..."消息.有wait()没有实际上没有等待的情况？我有几个不同的外部应用程序(C++控制台应用程序),它们将同时运行多个实例,对于其中一些我的代码可以工作,但对于其他实例,它不会.外部应用程序是否存在某些问题会以某种方式影响调用wait()？创建线程的代码如下所示:

for i in range(1):
    t = Thread(target=worker)
    t.daemon = True
    t.start()
q.join() # Wait for the queue to empty

更新1:我还应该补充一点,对于某些外部应用程序,我有时会得到proc.returncode-1073471801 的返回码().例如,其中一个外部应用程序将给出前两次Popen调用的返回代码,但不是后两个(当我有四个作业时).

更新2:为了清理,现在我在队列中有四个作业,这是四个不同的测试用例.当我运行我的代码时,对于其中一个外部应用程序,前两个 - Popen调用生成返回代码-1073471801.但是如果我打印出Popen调用的确切命令,并在命令窗口中运行它,它会毫无问题地执行.

解决了! 我设法解决了我遇到的问题.我认为问题在于我缺乏线程编程的经验.我错过了这样一个事实:当我创建了我的第一个工作线程时,他们会一直活着直到python脚本退出.错误的是,每次我将新项目放入队列时,我都会创建更多的工作线程(我会为每个要运行的外部程序批量执行此操作).所以当我进入第四个外部应用程序时,我有四个线程同时运行,即使我只认为我有一个.

Answer 1

您也可以使用check_call()而不是Popen.check_call()等待命令完成,即使shell=True然后返回作业的退出代码.

Answer 2

遗憾的是,当使用时运行子进程时shell=True,wait()只会等待sh子进程完成而不是等待命令cmd.

我会建议是否有可能不使用shell=True,如果不可能,你可以像在这个答案中创建一个进程组,并使用os.waitpid等待进程组而不仅仅是shell进程.

希望这有用:)

Answer 3

确保您调用的所有应用程序在完成时都具有有效的系统返回代码