gzip 在脚本中已经有 gz 后缀不变

Question

我创建了一个脚本来压缩日志文件并将其从一个目录移动到另一个目录以释放 space。这是脚本：

#!/bin/bash

logsDirectory="/test//logs/" 
email="" 
backupDirectory="/test/backup" 
pid="/data/test/scripts/backup.pid"
usage=$(df | grep /data/logs | awk '{ print  }') 
space=450000000

getBackup () 
{ 
if [[ ! -e $pid ]] then
            if [[ $usage -le $space ]]
                    then
                    touch $pid
                    find $backupDirectory -mtime +15 -type f  -delete;
                    for i in $(find $logsDirectory -type f -not -path "*/irws/*")
                            do
                                    /sbin/fuser $i > /dev/null 2>&1
                                    if [ $? -ne 0 ]
                                    then
                                            gzip  $i
                                            mv -v $i.gz $backupDirectory
                                    else
                                            continue
                                    fi
                            done
                    [[ ! -z $email ]] && echo "Backup is ready" | mas"Backup" $email
                    rm -f $pid
            fi 
fi 
} 
getBackup

我收到这个错误：

gzip: /data/logs/log01.log.gz already has .gz suffix -- unchanged
mv: cannot stat `/data/logs/log01.log.gz': No such file or directory

每次我在 DEV 和 PROD（CentOS 服务器）环境中运行脚本时都会收到错误。为了分析它，我运行在笔记本电脑的虚拟机 (Ubuntu) 中使用了相同的脚本，但我没有在此处收到错误。

我的问题：

我怎样才能避免这个错误？
我在脚本中做错了什么？

Answer 1

What I have done wrong in the script?

您的脚本尝试压缩每个文件，但 gzip 命令拒绝已压缩的文件

How can I prevent this error?

让脚本检查文件是否已压缩，如果对应则只进行 gzip (1)。或者，您可以强制重新压缩，即使它已经被压缩 (2)。

使用选项编号 1):

getBackup () 
{ 
  if [[ ! -e $pid ]] then
    if [[ $usage -le $space ]]
    then
      touch $pid
      find $backupDirectory -mtime +15 -type f  -delete;
      for i in $(find $logsDirectory -type f -not -path "*/irws/*")
      do
        /sbin/fuser $i > /dev/null 2>&1
        if [ $? -ne 0 ]
        then
          if [[ $i =~ \.gz$ ]]
            # File is already zipped
            mv -v $i $backupDirectory
          else
            gzip  $i
            mv -v $i.gz $backupDirectory
          fi
        else
          continue
        fi
      done
      [[ ! -z $email ]] && echo "Backup is ready" | mas"Backup" $email
      rm -f $pid
    fi 
  fi 
}

Answer 2

您的脚本包含许多常见的笨拙或低效的反模式。这是一个重构。唯一真正的变化是跳过任何 *.gz 个文件。

#!/bin/bash

logsDirectory="/test//logs/" 
email="" 
backupDirectory="/test/backup" 
pid="/data/test/scripts/backup.pid"
# Avoid useless use of grep -- awk knows how to match a regex
# Better still run df /data/logs
usage=$(df /data/logs/ | awk '{ print  }') 
space=450000000

getBackup () 
{
    # Quote variables
    if [[ ! -e "$pid" ]]; then
        if [[ "$usage" -le "$space" ]]; then
            touch "$pid"
            find "$backupDirectory" -mtime +15 -type f  -delete;
            # Exclude *.gz files
            # This is still not robust against file names with spaces or wildcards in their names
            for i in $(find "$logsDirectory" -type f -not -path "*/irws/*" -not -name '*.gz')
            do
                # Avoid useless use of $?
                if /sbin/fuser "$i" > /dev/null 2>&1
                then
                        gzip  "$i"
                        mv -v "$i.gz" "$backupDirectory"
                # no need for do-nothing else
                fi
            done
            [[ ! -z "$email" ]] &&
            echo "Backup is ready" | mas"Backup" "$email"
            rm -f "$pid"
        fi
    fi
}
getBackup

通过稍微更具侵入性的重构，对 find 循环的正确修复可能类似于

            find "$logsDirectory" -type f \
              -not -path "*/irws/*" -not -name '*.gz' \
              -exec sh -c '
                for i; do
                    if /sbin/fuser "$i" > /dev/null 2>&1
                    then
                        gzip  "$i"
                        mv -v "$i.gz" "$backupDirectory"
                    fi
                done' _ {} +

秘诀是让 find ... -exec + 以一种完全不涉及将参数暴露给当前 shell 的方式将参数传递给 sh -c 脚本。

gzip 在脚本中已经有 gz 后缀不变

gzip already has gz suffix unchanged in the script

linux

bash

scripting

gzip