连续管道的grep不起作用

Question

(也许是"tcpflow"问题)

我写了一个脚本来监控http流量,我安装tcpflow,然后grep

它工作(例如,你应该发出一个http请求curl www.163.com)

sudo tcpflow -p -c -i eth0 port 80 2>/dev/null | grep '^Host: '

它输出像这样(连续)

Host: config.getsync.com
Host: i.stack.imgur.com
Host: www.gravatar.com
Host: www.gravatar.com

但我不能继续使用烟斗

不起作用(没有输出)

sudo tcpflow -p -c -i eth0 port 80 2>/dev/null | grep '^Host: ' | cut -b 7- 

不起作用(没有输出)

sudo tcpflow -p -c -i eth0 port 80 2>/dev/null | grep '^Host: ' | grep H

当我更换sudo tcpflow时cat foo.txt,它的工作原理:

cat foo.txt | grep '^Host: ' | grep H

那么管道或grep或tcpflow有什么问题？

---

更新:

这是我的最终脚本:https://github.com/zhengkai/config/blob/master/script/monitor_outgoing_http.sh

Answer 1

要grep连续流使用--line-buffered选项:

sudo tcpflow -p -c -i eth0 port 80 2> /dev/null | grep --line-buffered '^Host'

--line缓冲

在输出上使用行缓冲.这可能会导致性能下降.

关于缓冲输出的一些思考(stdbuf也提到了工具):

管道,数据如何在管道中流动？

Answer 2

我认为这个问题是因为stdio buffering,你需要使用GNU stdbuf之前调用grep,

sudo tcpflow -p -c -i eth0 port 80 2>/dev/null | stdbuf -o0 grep '^Host: '

使用-o0,它基本上意味着output(stdout)流tcpflow将是无缓冲的.默认行为是在发送到管道中的下一个命令之前自动将数据缓冲到4096个¹字节块中,这是覆盖使用的stdbuf

_{1.将这个不错的细节引入主题.}