多处理编程指南不清楚

Question

我想了解以下指南:

比pickle/unpickle更好地继承

使用spawn或forkserver start方法时,需要对多处理中的许多类型进行选择,以便子进程可以使用它们.但是,通常应避免使用管道或队列将共享对象发送到其他进程.相反,您应该安排程序,以便需要访问其他地方创建的共享资源的进程可以从祖先进程继承它.

• "安排程序"是什么意思？
• 如何通过继承来共享资源？

我正在运行Windows,因此生成了新进程,这是否意味着只有分叉进程可以继承？

Answer 1

1、“安排节目”是什么意思？

这意味着您的程序应该能够在没有任何外部资源的情况下独立运行。共享文件会给您带来锁定问题，共享内存会产生同样的问题，或者由于多个进程同时修改数据而导致损坏。

这是一个坏主意的例子：

while some_queue_is_not_empty():
    run_external_process(some_queue)

def external_process(queue):
    item = queue.pop()
    # do processing here

相对：

while some_queue_is_not_empty():
    item = queue.pop()
    run_external_process(item)

def external_process(item):
    # do processing here

通过这种方式，您可以避免由于多个进程获取相同的项目而导致锁定队列和/或损坏问题。

2、如何通过继承来共享资源？

在 Windows 上，你不能。在 Linux 上，您可以使用父母打开的文件描述符，在 Windows 上，这将是一个全新的进程，因此除了给定的内容之外，您没有来自父母的任何东西。

示例复制自：http : //rhodesmill.org/brandon/2010/python-multiprocessing-linux-windows/

from multiprocessing import Process
f = None

def child():
    print f

if __name__ == '__main__':
    f = open('mp.py', 'r')                                                      
    p = Process(target=child)
    p.start()
    p.join()

在 Linux 上你会得到类似的东西：

$ python mp.py
<open file 'mp.py', mode 'r' at 0xb7734ac8>

在 Windows 上，您将获得：

C:\Users\brandon\dev>python mp.py
None