Python C程序子进程挂起"for line in iter"

Question

好的,我试图从python脚本运行一个C程序.目前我正在使用测试C程序:

#include <stdio.h>

int main() {
while (1) {
    printf("2000\n");
    sleep(1);
}
return 0;
}

模拟我将要使用的程序,它不断地从传感器获取读数.然后我试图"2000"从C程序读取输出(在这种情况下)与python中的子进程:

#!usr/bin/python
import subprocess

process = subprocess.Popen("./main", stdout=subprocess.PIPE)
while True:
    for line in iter(process.stdout.readline, ''):
            print line,

但这不起作用.从使用print语句开始运行该.Popen行然后等待for line in iter(process.stdout.readline, ''):,直到我按下Ctrl-C.

为什么是这样？这正是我见过的大多数示例都是他们的代码,但它没有读取文件.

编辑:

有没有办法让它只在有东西被阅读时才能运行？

Answer 1

这是一个块缓冲问题.

以下是对我的Python答案的案例版本的扩展:从subprocess.communicate()问题读取流输入.

直接修复C程序中的stdout缓冲区

stdio基于程序的规则是行缓冲的,如果它们在终端中以交互方式运行,并且当它们的stdout被重定向到管道时阻塞缓冲.在后一种情况下,在缓冲区溢出或刷新之前,您将看不到新行.

为避免fflush()在每次调用后printf()调用,可以通过在一开始调用C程序来强制行缓冲输出:

setvbuf(stdout, (char *) NULL, _IOLBF, 0); /* make line buffered stdout */

一旦打印换行符,就会在这种情况下刷新缓冲区.

或者修改它而不修改C程序的源代码

有一个stdbuf实用程序允许您在不修改源代码的情况下更改缓冲类型,例如:

from subprocess import Popen, PIPE

process = Popen(["stdbuf", "-oL", "./main"], stdout=PIPE, bufsize=1)
for line in iter(process.stdout.readline, b''):
    print line,
process.communicate() # close process' stream, wait for it to exit

还有其他可用的实用程序,请参阅关闭管道中的缓冲.

或者使用伪TTY

为了让子进程认为它是以交互方式运行,您可以使用pexpect模块或其类似物,对于使用pexpect和pty模块的代码示例,请参阅Python子进程readlines()挂起.这里pty提供的示例有一个变体(它应该适用于Linux):

#!/usr/bin/env python
import os
import pty
import sys
from select import select
from subprocess import Popen, STDOUT

master_fd, slave_fd = pty.openpty()  # provide tty to enable line buffering
process = Popen("./main", stdin=slave_fd, stdout=slave_fd, stderr=STDOUT,
                bufsize=0, close_fds=True)
timeout = .1 # ugly but otherwise `select` blocks on process' exit
# code is similar to _copy() from pty.py
with os.fdopen(master_fd, 'r+b', 0) as master:
    input_fds = [master, sys.stdin]
    while True:
        fds = select(input_fds, [], [], timeout)[0]
        if master in fds: # subprocess' output is ready
            data = os.read(master_fd, 512) # <-- doesn't block, may return less
            if not data: # EOF
                input_fds.remove(master)
            else:
                os.write(sys.stdout.fileno(), data) # copy to our stdout
        if sys.stdin in fds: # got user input
            data = os.read(sys.stdin.fileno(), 512)
            if not data:
                input_fds.remove(sys.stdin)
            else:
                master.write(data) # copy it to subprocess' stdin
        if not fds: # timeout in select()
            if process.poll() is not None: # subprocess ended
                # and no output is buffered <-- timeout + dead subprocess
                assert not select([master], [], [], 0)[0] # race is possible
                os.close(slave_fd) # subproces don't need it anymore
                break
rc = process.wait()
print("subprocess exited with status %d" % rc)

或使用ptyviapexpect

pexpect将pty处理包装到更高级别的界面:

#!/usr/bin/env python
import pexpect

child = pexpect.spawn("/.main")
for line in child:
    print line,
child.close()

问:为什么不使用管道(popen())？解释了为什么伪TTY很有用.

Answer 2

你的程序没有挂起,只是运行得很慢.你的程序使用缓冲输出; 该"2000\n"数据没有被写入到标准输出立即,但最终会做到这一点.在您的情况下,可能需要BUFSIZ/strlen("2000\n")几秒钟(可能是1638秒)才能完成.

在此之后:

printf("2000\n");

加

fflush(stdout);