hadoop 日志文件夹中的 .out 文件是什么?删除它们安全吗?
What the .out files in the hadoop logs folder? Is it safe to delete them?
我管理着一个完全分布式的小型 hadoop 集群,我正在做日志的例行清理和检查。我在我配置的 {HADOOP_HOME}/logs 路径中看到一堆带有 .out
扩展名的文件。有几种如:
hadoop-<my-system-name>-namenode-<my-system-name>.out
hadoop-<my-system-name>-namenode-<my-system-name>.out.1
hadoop-<my-system-name>-namenode-<my-system-name>.out.2
hadoop-<my-system-name>-datanode-<my-system-name>.out
hadoop-<my-system-name>-historyserver-<my-system-name>.out
hadoop-<my-system-name>-historyserver-<my-system-name>.out.2
hadoop-<my-system-name>-historyserver-<my-system-name>.out.3
hadoop-<my-system-name>-resourcemanager-<my-system-name>.out
hadoop-<my-system-name>-resourcemanager-<my-system-name>.out.1
hadoop-<my-system-name>-secondarynamenode-<my-system-name>.out
hadoop-<my-system-name>-secondarynamenode-<my-system-name>.out.1
hadoop-<my-system-name>-secondarynamenode-<my-system-name>.out.2
等等等等等
当我用编辑器查看其中一个文件时,例如 hadoop-<my-system-name>-namenode-<my-system-name>.out.1
文件,我得到:
core file size (blocks, -c) unlimited
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 514997
max locked memory (kbytes, -l) unlimited
max memory size (kbytes, -m) unlimited
open files (-n) 16384
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) 8192
cpu time (seconds, -t) unlimited
max user processes (-u) 8092
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited
这些文件是什么?它们是为了保留还是可以删除?
像所有好的应用程序一样,日志有一个很好的用途 - 找出您的服务发生了什么。您应该可能将日志放入类似Elasticsearch/Solr/Graylog/etc到search/alert的地方
可以安全删除任何以数字结尾的内容。
它们由使用 Hadoop 启动的 log4j.properties
RollingFileAppender 管理。
我管理着一个完全分布式的小型 hadoop 集群,我正在做日志的例行清理和检查。我在我配置的 {HADOOP_HOME}/logs 路径中看到一堆带有 .out
扩展名的文件。有几种如:
hadoop-<my-system-name>-namenode-<my-system-name>.out
hadoop-<my-system-name>-namenode-<my-system-name>.out.1
hadoop-<my-system-name>-namenode-<my-system-name>.out.2
hadoop-<my-system-name>-datanode-<my-system-name>.out
hadoop-<my-system-name>-historyserver-<my-system-name>.out
hadoop-<my-system-name>-historyserver-<my-system-name>.out.2
hadoop-<my-system-name>-historyserver-<my-system-name>.out.3
hadoop-<my-system-name>-resourcemanager-<my-system-name>.out
hadoop-<my-system-name>-resourcemanager-<my-system-name>.out.1
hadoop-<my-system-name>-secondarynamenode-<my-system-name>.out
hadoop-<my-system-name>-secondarynamenode-<my-system-name>.out.1
hadoop-<my-system-name>-secondarynamenode-<my-system-name>.out.2
等等等等等
当我用编辑器查看其中一个文件时,例如 hadoop-<my-system-name>-namenode-<my-system-name>.out.1
文件,我得到:
core file size (blocks, -c) unlimited
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 514997
max locked memory (kbytes, -l) unlimited
max memory size (kbytes, -m) unlimited
open files (-n) 16384
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) 8192
cpu time (seconds, -t) unlimited
max user processes (-u) 8092
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited
这些文件是什么?它们是为了保留还是可以删除?
像所有好的应用程序一样,日志有一个很好的用途 - 找出您的服务发生了什么。您应该可能将日志放入类似Elasticsearch/Solr/Graylog/etc到search/alert的地方
可以安全删除任何以数字结尾的内容。
它们由使用 Hadoop 启动的 log4j.properties
RollingFileAppender 管理。