Python多进程多次运行

Question

我试图同时运行两个 python 文件（A.py 和 B.py）。我尝试以两种不同的方式运行它们，并使用两个单独的命令来运行它们，效果很好。

问题是，我希望有一个脚本文件来并行运行它们。我尝试了多重处理，如下代码：

if __name__ == '__main__':
    jobs=[]
    jobs.append(Process(target=A.start))
    jobs.append(Process(target=B.start))

    for job in jobs:
        job.start()

    for job in jobs:
        job.join()

结果是它运行 A 和 B 两次，我希望它们每个只运行一次。

问题的原因是什么？我该如何解决？或者还有其他解决方案可以并行运行两个 python 文件吗？

提前感谢您的帮助。

对于导入信息，我有三个文件：A.py、B.py 和 run.py。

在 A.py 中，我有：

from scapy.all import *
from scapy.layers.http import HTTPRequest 
from scapy.layers.http import HTTPResponse
from colorama import init, Fore
import docker
import time
import redis

在 B.py 中，我有：

import json
import docker
import socket
import time
import psutil
import socket
import redis
import prometheus_client
from prometheus_client import Gauge,Counter
from prometheus_client.core import CollectorRegistry
from flask import Response, Flask

在 run.py 中，我有：

from multiprocessing import Process
import A
import B

====更新问题原因====

经过几个小时的代码研究后，我想我找到了原因，但我不明白为什么。

原因是在我的 A.py 文件中，我有一个代码

#flask starts
app.run(host="0.0.0.0", port=15600,debug=True)

如果我删除了调试模式，代码就可以正常工作。仅当调试模式打开时才会出现此问题。

有谁知道为什么会发生？

Answer 1

我认为你正在寻找的是multiprocessing.Pool，而且是具体的Pool.apply_async。这将允许您异步启动单独的进程，这些进程将并行执行不相关的任务。你可以这样使用它：

A.py:

def square(x):
    print('x squared is: ' + str(x**2))

B.py:

def cube(x):
    print('x cubed is: ' + str(x**3))

然后：

import multiprocessing as mp
import A
import B

p = mp.Pool(2)

a = p.apply_async(A.square, args=(5,))
b = p.apply_async(B.cube, args=(7,))

p.close()

更新

好的，鉴于新信息，发生这种情况有一个非常简单但可能不明显的原因，并且它与您使用多处理无关（尽管如果您是这样的话，这很可能会给您带来麻烦计划在真实的 Web 服务器（而不是 Flask 内置的服务器）中运行此应用程序）。

debug当您在打开模式下运行 Flask 调试服务器时，它会启动 2 个进程use_reloader。父进程监视您的代码，当检测到更改时，它会向子进程发出重新加载信号。这就是为什么 Flask 服务器能够立即应用您所做的任何代码更改，而无需您执行任何操作。您遇到的问题是您的代码同时在parent 和child中运行。

有两种方法可以修复它。

1. 不要使用debug=True.
2. 使用debug=True但也可以通过添加禁用重新加载器use_reloader=False。

选项 (2) 可能是更有吸引力的解决方案，因为您仍然可以访问调试控制台，但您也会失去自动重新加载功能，因此您需要在应用更改之前手动重新启动服务器。为此，请将您的app.run行更改为：

app.run(host="0.0.0.0", port=15600, debug=True, use_reloader=False)