带有连续管道的 grep 不起作用
grep with continuous pipe does not work
(可能是"tcpflow"的问题)
我写了一个监控http流量的脚本,我安装了tcpflow
,然后grep
它有效(你应该发出一个 http 请求,例如 curl www.163.com
)
sudo tcpflow -p -c -i eth0 port 80 2>/dev/null | grep '^Host: '
它像这样输出(连续)
Host: config.getsync.com
Host: i.stack.imgur.com
Host: www.gravatar.com
Host: www.gravatar.com
但我不能继续使用管道
不起作用(无输出)
sudo tcpflow -p -c -i eth0 port 80 2>/dev/null | grep '^Host: ' | cut -b 7-
不起作用(无输出)
sudo tcpflow -p -c -i eth0 port 80 2>/dev/null | grep '^Host: ' | grep H
当我用 cat foo.txt
替换 sudo tcpflow
时,它有效:
cat foo.txt | grep '^Host: ' | grep H
那么 pipe 或 grep 或 tcpflow 有什么问题?
更新:
这是我的最终脚本:https://github.com/zhengkai/config/blob/master/script/monitor_outgoing_http.sh
我认为问题是因为stdio buffering
,你需要在调用grep
、
之前使用GNU stdbuf
sudo tcpflow -p -c -i eth0 port 80 2>/dev/null | stdbuf -o0 grep '^Host: '
对于 -o0
,它基本上意味着来自 tcpflow
的输出 (stdout
) 流将是无缓冲的。默认行为是在发送到管道中的下一个命令之前自动将数据缓冲到 40961 字节块中,这是使用 stdbuf
覆盖的内容
1. 将此 nice detail 引用到主题中。
要grep
连续流使用--line-buffered
选项:
sudo tcpflow -p -c -i eth0 port 80 2> /dev/null | grep --line-buffered '^Host'
--line-buffered
Use line buffering on output. This can cause a performance penalty.
关于缓冲输出的一些思考(stdbuf
工具也提到了):
(可能是"tcpflow"的问题)
我写了一个监控http流量的脚本,我安装了tcpflow
,然后grep
它有效(你应该发出一个 http 请求,例如 curl www.163.com
)
sudo tcpflow -p -c -i eth0 port 80 2>/dev/null | grep '^Host: '
它像这样输出(连续)
Host: config.getsync.com
Host: i.stack.imgur.com
Host: www.gravatar.com
Host: www.gravatar.com
但我不能继续使用管道
不起作用(无输出)
sudo tcpflow -p -c -i eth0 port 80 2>/dev/null | grep '^Host: ' | cut -b 7-
不起作用(无输出)
sudo tcpflow -p -c -i eth0 port 80 2>/dev/null | grep '^Host: ' | grep H
当我用 cat foo.txt
替换 sudo tcpflow
时,它有效:
cat foo.txt | grep '^Host: ' | grep H
那么 pipe 或 grep 或 tcpflow 有什么问题?
更新:
这是我的最终脚本:https://github.com/zhengkai/config/blob/master/script/monitor_outgoing_http.sh
我认为问题是因为stdio buffering
,你需要在调用grep
、
GNU stdbuf
sudo tcpflow -p -c -i eth0 port 80 2>/dev/null | stdbuf -o0 grep '^Host: '
对于 -o0
,它基本上意味着来自 tcpflow
的输出 (stdout
) 流将是无缓冲的。默认行为是在发送到管道中的下一个命令之前自动将数据缓冲到 40961 字节块中,这是使用 stdbuf
1. 将此 nice detail 引用到主题中。
要grep
连续流使用--line-buffered
选项:
sudo tcpflow -p -c -i eth0 port 80 2> /dev/null | grep --line-buffered '^Host'
--line-buffered
Use line buffering on output. This can cause a performance penalty.
关于缓冲输出的一些思考(stdbuf
工具也提到了):