Python 子进程的实时输出

Question

我正在运行 Django Web 服务器，并尝试将子进程的输出实时打印到日志中。如果我推荐 readline 行并取消注释 yowzer 行，我会得到所需的记录输出流，但是一旦我尝试按原样运行此行，我就不会得到任何输出。我究竟做错了什么？我能找到的所有结果似乎都表明这可以按原样工作。

sp = subprocess.Popen(command, shell=True, stdout=subprocess.PIPE)

while sp.poll() is None:
    logging.critical(sp.stdout.readline())
    #logging.critical('yowzer')
    time.sleep(10)

谢谢你！

[4 月 3 日编辑]事实证明，问题不在于该命令长时间运行，而在于我使用分号将“su user”命令与主命令连接起来。删除 su 解决了这个问题。

Answer 1

在 Python 中调用子进程时，获取（或者更确切地说，未获取）实时输出是一个长期的烦恼。请参阅此问题进行深入讨论，但简短的版本是，将关键字 arg 添加bufsize=1到Popen调用中可能是您​​需要的秘密武器。

还有，你为什么有time.sleep(10)？您确实意识到这意味着您必须在每行记录之间等待 10 秒，对吗？尝试重构您为读取输出而进行的调用。假设您使用的是 Python 3，请尝试以下操作：

from subprocess import PIPE, Popen

with Popen(command, shell=True, stdout=PIPE, bufsize=1) as sp:
    for line in sp.stdout:
        logging.critical(line)

我刚刚测试了上面的代码并可以确认它的工作原理。在这里亲自尝试一下。链接的测试版本在日志的每一行之前打印时间戳。

如果这仍然不起作用

如果您调用的子进程没有定期刷新其输出，那么您在 Python 脚本中无能为力。你提到了姜戈，对吧？您尝试记录的输出是通过标准 Pythonprint()调用生成的吗？如果是这样，您可以修改它们以更积极地刷新：

print(s, flush=True)

我使用过的所有其他 语言也有等效的刷新命令，因此（假设您有权访问/可以修改子进程的源）您应该能够完成这项工作。