使用pyzmq零拷贝共享数据

Question

在python中搜索IPC的有效解决方案时,我偶然发现了zeromq; 我有几个python进程需要对来自主进程中的di​​ct的数据进行一些cpu密集处理.这些工作进程只读取dict,只有主进程才能改变dict.dict中的数据会发生变化,但会通过主进程自动进行.

理想情况下,我有一块共享内存,其中所有工作进程都可以读取dict,不幸的是这在python中似乎不可能.

使用像redis或memcache这样的缓存听起来像是矫枉过正(不想使用TCP和酸洗来分享我已经在内存中以原生格式存在的东西).

因此,作为替代方案,我想使用zeromq将主dict中的相关数据推送到使用zeromq IPC套接字的订阅工作者.这意味着我(不幸)必须从主dict序列化相关部分(使用msgpack？)然后使用zmq消息推送它.我读过可以使用零拷贝执行此操作,这样我就不会最终复制数据两次,如果我在msgpacked二进制字符串上使用copy = False,这会自动发生吗？这是解决我的问题的方法,或者你们有提示如何更有效地解决这个问题？

谢谢!

马亭

Answer 1

是的，如果您使用 发送 msgpacked 字节copy=False，则发送过程中不会有额外的内存中数据副本（使用 接收方也是如此copy=False）。

确保进行性能测试，因为更复杂的零复制机制的成本通常大于复制本身的成本，直到消息开始变得相当大（每条消息交叉约 10 KB）。

另一种方法是您可以只使用内置多处理模块的工具来共享数据。它不是最棒的，但对于相当简单的事情，它可以完成工作。