为什么 exec+tee 输出显示乱序？

Question

这基本上是对这个问题的补充： redirect COPY of stdout to log file from within bash script itself

所以使用这个测试脚本：

#!/bin/bash

echo 'bash version:'
bash --version|grep release
echo '';
echo '----------------'
rm /tmp/logfile 2>/dev/null;

function testCommands() {
    local mode=""
    echo "testCommands(): mode == $mode";

    # Link file descriptor #6 with stdout to save stdout, #7 for stderr
    exec 6>&1;
    exec 7>&2;

    if [[ 'both' == "${mode}" ]]; then
        # log to file and stdout
        exec > >(tee -ia /tmp/logfile);

    elif [[ 'file' == "${mode}" ]]; then
        # log to file only
        exec 1>> /tmp/logfile

    elif [[ 'quiet' == "${mode}" ]]; then
        # be quiet
        exec 1> /dev/null

    #else - use normal stdout
    fi
    if [[ 'true' != "${separate_stderr}" ]]; then
        #by default, merge stderr to stdout for simple logging
        exec 2>&1
    #else - keep stderr separate like it normally is
    fi

    echo "fee";
    echo "fye";
    echo "foh";
    echo "fum";

    # Restore stdout/stderr and close file descriptors #6/#7
    exec 1>&6 6>&-;
    exec 2>&7 7>&-;
}

testCommands 'file'
echo '----------------'
echo ''
echo 'check /tmp/logfile'
ls -acl /tmp/logfile
echo ''
echo 'check output'
cat /tmp/logfile
rm /tmp/logfile 2>/dev/null;
echo '----------------'
testCommands 'stdout'
echo '----------------'
echo ''
echo 'check /tmp/logfile'
ls -acl /tmp/logfile
echo ''
echo 'check output'
cat /tmp/logfile
rm /tmp/logfile 2>/dev/null;
echo '----------------'
testCommands 'both'
echo '----------------'
echo ''
echo 'check /tmp/logfile'
ls -acl /tmp/logfile
echo ''
echo 'check output'
cat /tmp/logfile
rm /tmp/logfile 2>/dev/null;
echo '----------------'
testCommands 'quiet'
echo '----------------'
echo ''
echo 'check /tmp/logfile'
ls -acl /tmp/logfile
echo ''
echo 'check output'
cat /tmp/logfile
echo '----------------'

我得到以下输出：

bash version:
GNU bash, version 4.4.20(1)-release (x86_64-pc-linux-gnu)

----------------
testCommands(): mode == file
----------------

check /tmp/logfile
-rw-rw---- 1 testuser testuser 16 Sep 20 16:10 /tmp/logfile

check output
fee
fye
foh
fum
----------------
testCommands(): mode == stdout
fee
fye
foh
fum
----------------

check /tmp/logfile
ls: cannot access '/tmp/logfile': No such file or directory

check output
cat: /tmp/logfile: No such file or directory
----------------
testCommands(): mode == both
----------------

check /tmp/logfile
fee
fye
foh
fum
-rw-rw---- 1 testuser testuser 16 Sep 20 16:10 /tmp/logfile

check output
fee
fye
foh
fum
----------------
testCommands(): mode == quiet
----------------

check /tmp/logfile
ls: cannot access '/tmp/logfile': No such file or directory

check output
cat: /tmp/logfile: No such file or directory
----------------

这里有一些输出，所以如果你第一次没有看到它，那么看起来奇怪的部分在 testCommands(): mode == both.

我希望在这里看到的是函数的所有输出将首先显示，然后是调用后定义的 echo/ls/cat 的输出。相反，函数输出显示在函数完成后应为运行的 2 个命令的输出之间。换句话说，这是我期望的结果（注意：以下不是实际输出——我编造的）：

----------------
testCommands(): mode == both
fee
fye
foh
fum
----------------

check /tmp/logfile
-rw-rw---- 1 testuser testuser 16 Sep 20 16:10 /tmp/logfile

check output
fee
fye
foh
fum

我是运行这个来自 Linux Mint v19.2 x64 Cinnamon（基于 Ubuntu 18.04）的家用电脑。正在寻求将其他 post 的 exec 答案改编为我计划从其他各种 bash shell 脚本调用的共享 functions.sh 脚本，我的 .bash_aliases，等等。我有一些场景，我想在具有不同日志记录要求的各种场景中调用相同的函数：文件 + stdout、仅文件、仅 stdout 和静默。对于我的所有场景，我更喜欢将 stderr 转换为 stdout。

1) 调用 testCommands 'both'，我看到函数之后的输出显示在函数本身的输出之前。想知道是否有任何方法可以确认这真的是由于 tee 中的缓冲、完全是其他原因或某种组合造成的。

2) 除了使用另一个问题中引用的 'unbuffered version of tee' 之外，还有什么方法可以从 bash 解决这个问题吗？例如即使它正在缓冲，我是否可以通过 bash/other posix 命令在功能结束之前禁用甚至强制打印缓冲输出？我宁愿避免外部依赖，但看不到自己切换到任何不使用 bash 作为默认 shell.

的发行版

3) 在使用 bash 时是否有更 elegant/flexible/easier-to-maintain 的方法来控制输出？（例如，管理 display/hide 的各种排列 console/logfile 的 stdout/stderr 输出）

Answer 1

因为命令正在缓冲 IO。如果禁用 IO 缓冲，您将获得所需的结果。您可以使用 stdbuf 或 unbuffer 命令禁用缓冲。

stdbuf -oL command   # This will buffer one line at time
unbuffer command

如果您的系统没有这些命令之一，请尝试使用较旧的脚本，并且应该在大多数发行版中都有。

script -q /dev/null long_running_command

Answer 2

这里有一个更简单的方法来重现您的问题：

echo "Hello" > >(tee -a file)
echo "World" >> file

文件将包含 "World Hello" 而不是 "Hello World"。

这不会发生，因为 tee 缓冲（它不会），而是因为您将写入分为两个阶段，而 shell 只等待第一个。

当您通过进程替换时，您正在写入管道，echo 只会等待数据成功写入管道。它不会进入文件，直到 tee 稍后有机会写入它。如果脚本在 tee 可以运行之前继续导致写入文件，则输出出现乱序。

如果您在任何时候想要 "flush" 输出，您必须关闭管道并等待进程替换退出：

mkfifo tmpfile
exec > >(echo "$BASHPID" > tmpfile; exec tee -a file)
echo "Hello"
exec >&-
wait "$(<tmpfile)"
echo "World" >> file

所以确实更容易确保所有数据都采用相同的路径，例如通过确保所有写入都通过相同的进程替换发生。

为什么 exec+tee 输出显示乱序？

why does exec+tee output display out-of-order?

unix

linux

bash

shell

exec