流命令输出进度

Question

我正在编写一个服务,必须将已执行命令的输出流式传输到父级和日志.当有一个漫长的过程时,问题是cmd.StdoutPipe给我一个最终的(字符串)结果.

是否可以给出正在发生的事情的部分输出,比如在shell中

func main() {
    cmd := exec.Command("sh", "-c", "some long runnig task")

    stdout, _ := cmd.StdoutPipe()
    cmd.Start()

    scanner := bufio.NewScanner(stdout)
    for scanner.Scan() {
        m := scanner.Text()
        fmt.Println(m)
        log.Printf(m)
    }

    cmd.Wait()
}

PS只是输出将是:

cmd.Stdout = os.Stdout

但就我而言,这还不够.

Answer 1

您发布的代码有效(执行合理的命令).

这是一个简单的"一些长期运行的任务",用Go编写,供您调用和测试代码:

func main() {
    fmt.Println("Child started.")
    time.Sleep(time.Second*2)
    fmt.Println("Tick...")
    time.Sleep(time.Second*2)
    fmt.Println("Child ended.")
}

编译它并将其命名为您的命令.您将看到不同的行显示为子进程所写的"流式".

它可能不适合您的原因

在Scanner通过返回bufio.NewScanner()读取整行且仅当遇到一个换行符返回的东西(如由定义的bufio.ScanLines()函数).

如果您执行的命令不打印换行符,则不会立即返回其输出(仅当打印换行符时,填充内部缓冲区或进程结束).

可能的解决方法

如果您不能保证子进程打印换行符但仍想要输出流,则无法读取整行.一种解决方案是通过单词阅读,甚至通过字符(符文)阅读.您可以通过使用以下方法设置不同的拆分功能来实现此目的Scanner.Split():

scanner := bufio.NewScanner(stdout)
scanner.Split(bufio.ScanRunes)

该bufio.ScanRunes函数用runes 读取输入,因此Scanner.Scan()只要有新rune的可用就会返回.

或者Scanner在没有a的情况下手动读取(在这个例子中逐字节):

oneByte := make([]byte, 1)
for {
    _, err := stdout.Read(oneByte)
    if err != nil {
        break
    }
    fmt.Printf("%c", oneByte[0])
}

请注意,上面的代码将读取runeUTF-8编码中的多个字节错误.要读取多个UTF-8字节符文,我们需要一个更大的缓冲区:

oneRune := make([]byte, utf8.UTFMax)
for {
    count, err := stdout.Read(oneRune)
    if err != nil {
        break
    }
    fmt.Printf("%s", oneRune[:count])
}

要记住的事情

进程具有标准输出和标准错误的默认缓冲区(通常大小为几KB).如果进程写入标准输出或标准错误,它将进入相应的缓冲区.如果此缓冲区已满,则将阻止进一步写入(在子进程中).如果未读取子进程的标准输出和标准错误,则在缓冲区已满时,子进程可能会挂起.

因此,建议始终读取子进程的标准输出和错误.即使你知道该命令不正常写入其标准错误,如果出现一些错误,它可能会开始抛售错误信息到其标准错误.

编辑:正如Dave C默认提到的那样,子进程的标准输出和错误流将被丢弃,如果不读取则不会导致阻塞/挂起.但是,通过不读取错误流,您可能会错过此过程中的一两件事.