hadoop 日志文件夹中的 .out 文件是什么?删除它们安全吗?

What the .out files in the hadoop logs folder? Is it safe to delete them?

我管理着一个完全分布式的小型 hadoop 集群,我正在做日志的例行清理和检查。我在我配置的 {HADOOP_HOME}/logs 路径中看到一堆带有 .out 扩展名的文件。有几种如:

hadoop-<my-system-name>-namenode-<my-system-name>.out
hadoop-<my-system-name>-namenode-<my-system-name>.out.1
hadoop-<my-system-name>-namenode-<my-system-name>.out.2
hadoop-<my-system-name>-datanode-<my-system-name>.out
hadoop-<my-system-name>-historyserver-<my-system-name>.out
hadoop-<my-system-name>-historyserver-<my-system-name>.out.2
hadoop-<my-system-name>-historyserver-<my-system-name>.out.3
hadoop-<my-system-name>-resourcemanager-<my-system-name>.out
hadoop-<my-system-name>-resourcemanager-<my-system-name>.out.1
hadoop-<my-system-name>-secondarynamenode-<my-system-name>.out
hadoop-<my-system-name>-secondarynamenode-<my-system-name>.out.1
hadoop-<my-system-name>-secondarynamenode-<my-system-name>.out.2

等等等等等

当我用编辑器查看其中一个文件时,例如 hadoop-<my-system-name>-namenode-<my-system-name>.out.1 文件,我得到:

core file size          (blocks, -c) unlimited
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 514997
max locked memory       (kbytes, -l) unlimited
max memory size         (kbytes, -m) unlimited
open files                      (-n) 16384
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) 8092
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

这些文件是什么?它们是为了保留还是可以删除?

像所有好的应用程序一样,日志有一个很好的用途 - 找出您的服务发生了什么。您应该可能将日志放入类似Elasticsearch/Solr/Graylog/etc到search/alert的地方

可以安全删除任何以数字结尾的内容。

它们由使用 Hadoop 启动的 log4j.properties RollingFileAppender 管理。