Python 多处理执行脚本而不是函数

Dan*_*ens 5 python multiprocessing python-multiprocessing

1)multiprocessing模块是否支持可用于启动第二个进程而不是函数的 Python 脚本文件?

目前我使用multiprocessing.Processwhich 需要一个函数,但我想改为执行foo.py。我可以使用,subprocess.Popen但好处multiprocessing.Process是我可以传递对象(即使它们只是被腌制过)。

当我使用 multiprocessing.Process 时,为什么在子进程中导入了 my_module 而没有执行 print("foo") ?

2)当我使用 时multiprocessing.Process,为什么my_module在子进程中导入但print("foo")没有执行?尽管未执行主作用域,但 my_module 如何可用?

import multiprocessing
import my_module
print("foo")

def worker():
    print("bar")
    my_module.foo()
    return

p = multiprocessing.Process(target=worker, args=(1,2, d))
p.start()
p.join()
Run Code Online (Sandbox Code Playgroud)

Pie*_*Pah 4

Python 函数和要在另一个进程中运行的例程之间没有明显的区别。函数只是过程。

假设foo.py您希望在另一个进程中运行的另一个脚本文件(在这种情况下)是否具有以下内容:

# for demonstration only
from stuff import do_things

a = 'foo'
b = 1
do_things(a, b) # it doesn't matter what this does
Run Code Online (Sandbox Code Playgroud)

你可以foo.py这样重构

from stuff import do_things

def foo():
    a = 'foo'
    b = 1
    do_things(a, b)
Run Code Online (Sandbox Code Playgroud)

在模块中,您正在生成进程:

from foo import foo

p = multiprocess.Process(target=foo)
# ...
Run Code Online (Sandbox Code Playgroud)

ProcessAPI 要求以target. 如果说您尝试提供模块foo(哪里foo.py是没有功能的第一个版本foo):

import foo
p = Process(target=foo)
p.start()
Run Code Online (Sandbox Code Playgroud)

你会得到一个TypeError: 'module' object is not callable错误,这是有充分理由的。想象一下,当您导入foo模块时,它会立即执行,因为它没有包装在函数/过程(又名)内callable。尝试在模块文件中插入打印语句并导入它。模块级语句立即被评估。

这回答了问题 2:

my_module当您在顶层导入时,每个模块都会导入一次,即使worker没有执行也是如此。my_module可以使用,worker因为worker程序已结束my_module。当您将子例程(例如worker并发进程)传递给并发进程时,无法保证它何时会被调用,甚至永远不会被调用。

您可以在 Python 模块中的任何位置导入模块,包括在函数/子例程中。但在这种情况下这样做可能不是最佳的或没有必要的。