通过 subprocess.communicate 在 python 脚本之间传输腌制对象输出

Question

我有两个 python 脚本：object_generator.py，它腌制给定的对象并打印它。另一个脚本 object_consumer.py 通过 subprocess.communicate 选择第一个脚本的输出，并尝试使用 pickle.loads 解压它。我无法使这个简单的场景工作。这是我的代码：

object_generator.py

import pickle
import base64

o = {'first':1,'second':2,'third':3,'ls':[1,2,3]}
d = pickle.dumps(o)
print(d)

#Various Approaches I had tried, none of which worked. Ignore this part.
#s = base64.b64decode(d)
#encoded_str = str(d).encode('ascii')
#print('encoded str is :')
#print(encoded_str)
#decoded_str = encoded_str.decode('ascii')
#print('decoded str is :')
#print(decoded_str)
#unpickled_obj = pickle.loads(bytes(decoded_str))
#print(unpickled_obj)
#print(type(d))
#print(codecs.decode(d))

object_consumer.py

import pickle
import subprocess
import os

dr = '"' + os.path.dirname(os.path.abspath(__file__)) + '\\object_generator.py"'

cmd = 'python -u ' + dr

proc = subprocess.Popen(cmd,stdout=subprocess.PIPE)

try:
    outs, errs = proc.communicate(timeout=15)
except TimeoutExpired:
    proc.kill()
    outs, errs = proc.communicate()

# 'out' at this point is something like this : 
# b"b'\\x80\\x03}q\......x05K\\x03u.'\r\n"
# DO SOMETHING WITH outs to get back the bytes which can then be 
# unpickled using pickle.loads

obj = pickle.loads(outs)
print(obj)

显然，我需要去掉尾随 \r\n 这很容易，但接下来应该做什么？

Answer 1

这里有几个问题。首先，您要在 中打印一个bytes对象object_generator.py。在 Python 3.x 中，这将导致str(obj)被调用，这意味着 b'yourbyteshere'被打印。您不需要前导b'或尾随'. 要解决这个问题，您需要将bytes对象编码为字符串。pickle使用'latin-1'编码，因此我们可以使用它将bytes对象解码为str. 另一个问题是 Windows 默认使用的编码实际上sys.stdout并不支持打印解码的pickle字符串。sys.stdout因此，我们需要将* 的默认编码更改为'latin-1'，以便该字符串将以正确的编码发送到父进程。

import pickle
import base64
import codecs

o = {'first':1,'second':2,'third':3,'ls':[1,2,3]}
d = pickle.dumps(o)
sys.stdout = io.TextIOWrapper(sys.stdout.detach(), encoding='latin-1')
print(d.decode('latin-1'), end='', flush=True)  # end='' will remove that extra \r\n

进行这些更改，它应该可以正常工作。

编辑：

另一种选择是将PYTHONIOENCODING环境变量设置为'latin-1'来自父进程：

env = os.environ.copy()
env['PYTHONIOENCODING'] = 'latin-1'
proc = subprocess.Popen(['python3', 'async2.py'] ,stdout=subprocess.PIPE, env=env)

_{*有关更改 Python 3 中的编码的更多信息，请参阅此问题。sys.stdout那里提到了我在这里展示的两种方法。}