带有连续管道的 grep 不起作用

grep with continuous pipe does not work

(可能是"tcpflow"的问题)

我写了一个监控http流量的脚本,我安装了tcpflow,然后grep

有效(你应该发出一个 http 请求,例如 curl www.163.com

sudo tcpflow -p -c -i eth0 port 80 2>/dev/null | grep '^Host: '

它像这样输出(连续)

Host: config.getsync.com
Host: i.stack.imgur.com
Host: www.gravatar.com
Host: www.gravatar.com

但我不能继续使用管道

不起作用(无输出)

sudo tcpflow -p -c -i eth0 port 80 2>/dev/null | grep '^Host: ' | cut -b 7- 

不起作用(无输出)

sudo tcpflow -p -c -i eth0 port 80 2>/dev/null | grep '^Host: ' | grep H

当我用 cat foo.txt 替换 sudo tcpflow 时,它有效:

cat foo.txt | grep '^Host: ' | grep H

那么 pipe 或 grep 或 tcpflow 有什么问题?


更新:

这是我的最终脚本:https://github.com/zhengkai/config/blob/master/script/monitor_outgoing_http.sh

我认为问题是因为stdio buffering,你需要在调用grep

之前使用GNU stdbuf
sudo tcpflow -p -c -i eth0 port 80 2>/dev/null | stdbuf -o0 grep '^Host: '

对于 -o0,它基本上意味着来自 tcpflow 的输出 (stdout) 流将是无缓冲的。默认行为是在发送到管道中的下一个命令之前自动将数据缓冲到 40961 字节块中,这是使用 stdbuf

覆盖的内容

1. 将此 nice detail 引用到主题中。

grep连续流使用--line-buffered选项:

sudo tcpflow -p -c -i eth0 port 80 2> /dev/null | grep --line-buffered '^Host'

--line-buffered

Use line buffering on output. This can cause a performance penalty.


关于缓冲输出的一些思考(stdbuf工具也提到了):

Pipes, how do data flow in a pipeline?