如何使用Python中的Managers()在多个进程之间共享字符串?

Ben*_*ngt 14 python shared-memory multiprocessing shared-state

我需要读取主进程中的multiprocessing.Process实例编写的字符串.我已经使用Managers和队列将参数传递给进程,因此使用Managers似乎很明显,但Managers不支持字符串:

Manager()返回的管理器将支持类型列表,dict,Namespace,Lock,RLock,Semaphore,BoundedSemaphore,Condition,Event,Queue,Value和Array.

如何使用多处理模块中的Managers共享由字符串表示的状态?

Ben*_*ngt 14

多处理的管理器可以保存,而这些又可以保存ctypes模块中c_char_p类型的实例:

>>> import multiprocessing
>>> import ctypes
>>> v = multiprocessing.Value('c', "Hello, World!")
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/lib/python2.7/multiprocessing/__init__.py", line 253, in Value
    return Value(typecode_or_type, *args, **kwds)
  File "/usr/lib/python2.7/multiprocessing/sharedctypes.py", line 99, in Value
    obj = RawValue(typecode_or_type, *args)
  File "/usr/lib/python2.7/multiprocessing/sharedctypes.py", line 73, in RawValue
    obj.__init__(*args)
TypeError: one character string expected
>>> cstring = multiprocessing.Value(ctypes.c_char_p, "Hello, World!")
>>> cstring
<Synchronized wrapper for c_char_p(166841564)>
>>> cstring.value
'Hello, World!'
Run Code Online (Sandbox Code Playgroud)

另请参阅:使用我很难找到的原始解决方案发布.

因此,可以使用Manager在Python中的多个进程下共享字符串,如下所示:

>>> from multiprocessing import Process, Manager, Value
>>> from ctypes import c_char_p
>>> 
>>> def greet(string):
>>>     string.value = string.value + ", World!"
>>> 
>>> if __name__ == '__main__':
>>>     manager = Manager()
>>>     string = manager.Value(c_char_p, "Hello")
>>>     process = Process(target=greet, args=(string,))
>>>     process.start()
>>>     process.join()    
>>>     print string.value
'Hello, World!'
Run Code Online (Sandbox Code Playgroud)

  • 我想知道为什么这是有效的(共享指针),并且从消息来源中我了解到“managers.Value”实际上根本不使用“typecode”参数。该字符串不会转换为“c_char_p”。`multiprocessing.Value` 的工作方式非常不同。 (2认同)

Jan*_*ila 6

只需将字符串放入dict:

d = manager.dict()
d['state'] = 'xyz'
Run Code Online (Sandbox Code Playgroud)

由于字符串本身是不可变的,因此直接共享字符串不会有用.

  • `manager.dict()` 较慢,因为它返回一个代理,而代理总是将数据从一个线程复制到另一个线程,而 `multiprocessing.Value()` 较快,因为它返回一个实际的共享内存区域,该区域只是直接访问通过每个过程。 (2认同)