如何在管道,队列,值,数组和管理器之间进行选择以在进程之间进行通信？

Question

在蟒蛇,它提供了很多办法模块多进程之间通信,Pipe,Queue,Value,Array和Manager.哪个是更好的选择？

Answer 1

如果要实现消息传递，请使用管道和队列。如果要实现共享内存，请使用Value和Array。如果要向多个进程公开面向对象的界面，请使用管理器。

Pipe 适用于一对一通讯或字节级协议：

• 管道可以是双向的（“双工”）或单向的
• 管道不是并发安全的：只有一个进程可以使用管道的同一端；在一对一通讯中很好，否则需要锁
• 管道可以传输可挑选的Python对象或原始字节
• 无法指定缓冲区大小

Queue 与单向管道相似，但可能在多对多情况下起作用：

• 队列是单向的：先进先出
• 队列是并发安全的：多个进程可以使用队列的同一端；所以当有多个生产者或多个消费者时很好
• 队列只能传输可挑选的Python对象
• 可以指定队列的最大大小
• “无论何时使用队列，都需要确保在加入该流程之前，将最终删除队列中已放置的所有项目。”

使用管道和一些锁/信号量来实现队列。

Value和Array：

• 提供对共享数据的同步访问
• 仅适用于C数据类型（ctypes）

管理人员：

• 可能用于各种数据类型：它们返回代理对象，这些对象公开与基础（共享）对象相同的方法
• 可以处理远程访问

Value并且Array是一种共享内存的轻量级方法。以我的经验，使用SyncManager和的开销AutoProxy 可能很大。如果您可以使用Value或解决您的问题Array，请使用它们。SyncManager将面向对象的接口暴露给多个进程可能会很有用，除非不经常调用它。