Logstash 管道不适用于 csvfile

Question

如下设置

wget https://artifacts.elastic.co/downloads/logstash/logstash-6.6.2.deb
sudo dpkg -i logstash-6.6.2.deb
sudo systemctl enable logstash.service
sudo systemctl start logstash.service

并且我添加了如下所示的管道脚本

input {
        file {
                path => "/root/dev/Intuseer-PaaS/backend/airound_sv_logs.log"
                start_position => "beginning"
        }
}
output {
        stdout {}
        file {
                path => "/root/dev/output/output-%{+YYYY-MM-dd}.log"
        }
}

日志文件如下

timestamp, server_cpu, server_memory_used, server_memory_free, process_cpu, process_memory
1582787287, 1, 1176, 2759, 0, 9.05
1582787288, 1, 1176, 2759, 1, 8.97
1582787289, 2, 1176, 2759, 0, 9.04
1582787290, 1, 1177, 2758, 0, 8.98
1582787291, 0, 1176, 2759, 1, 9.04
1582787292, 1, 1176, 2759, 0, 8.96
1582787293, 1, 1177, 2758, 0, 9.03
1582787294, 1, 1176, 2759, 1, 9.08
1582787295, 0, 1177, 2758, 0, 9.02
1582787296, 1, 1176, 2759, 1, 9.05

我已经尝试了很多次才能在本地目录中获取此日志。我检查了 logstash 的状态。但在下面之后它没有变化。也没有生成输出 %.log 文件。

$systemctl status 的结果logstash.service

请帮助我。谢谢你。我正在尝试使用 logstash 6.6.2。我

Answer 1

因此，总而言之，一切正常，但由于您没有在日志中看到任何内容，因此您认为它没有正常工作。添加 --debug 确认一切正常。

但有几点注意事项：

不要忘记添加 sincedb_path 否则你运行有无法重复重新处理文件的风险
尽量不要在 /root 中做任何事情，因为 Logstash 运行s 可能并不总是有权 R/W 该文件夹
利用 csv filter 来解析您的行。

Logstash 管道不适用于 csvfile

Logstash pipeline not working with csvfile

elasticsearch

logstash

elastic-stack

filebeat