配置 logstash-output-csv

Question

我是 logstash 的新手，我一直在尝试使用 logstash-output-csv 插件将现有日志转换为 csv 格式。

我的输入日志字符串如下所示，这是我们应用程序中编写的自定义日志。

'128.111.111.11/cpu0/log:5988:W/"00601654e51a15472-76":687358:<9>2015/08/18 21:06:56.05: comp/45 55% of memory in use:  2787115008 bytes (change of 0)'

我写了一个快速正则表达式并使用 grok 插件将它添加到 patterns_dir。我的模式如下：

IP_ADDRESS [0-9,.]+
CPU [0-9]
NSFW \S+
NUMBER [0-9]
DATE [0-9,/]+\s+[0-9]+[:]+[0-9]+[:]+[0-9,.]+
TIME \S+
COMPONENT_ID \S+
LOG_MESSAGE .+

在不添加任何 csv 过滤器的情况下，我能够获得此输出。

{
       "message" => "128.111.111.11/cpu0/log:5988:W/"00601654e51a15472-76":687358:<9>2015/08/18 21:06:56.05: comp/45 55% of memory in use:  2787115008 bytes (change of 0)",
      "@version" => "1",
    "@timestamp" => "2015-08-18T21:06:56.05Z",
          "host" => "hostname",
          "path" => "/usr/phd/raveesh/sample.log_20150819000609",
          "tags" => [
        [0] "_grokparsefailure"
    ]
}

这是我的配置，以便将 csv 作为输出

input {
    file {
        path => "/usr/phd/raveesh/temporary.log_20150819000609"
        start_position => beginning
    }
}

filter {
    grok {
        patterns_dir => "./patterns"
        match =>["message", "%{IP_ADDRESS:ipaddress}/%{CPU:cpu}/%{NSFW:nsfw}<%{NUMBER:number}>%{DATE}:%{SPACE:space}%{COMPONENT_ID:componentId}%{SPACE:space}%{LOG_MESSAGE:logmessage}" ]
        break_on_match => false
    }
    csv {
        add_field =>{"ipaddress" => "%{ipaddress}" }
}
}

output {
  # Print each event to stdout.
  csv {
    fields => ["ipaddress"]
    path => "./logs/firmwareEvents.log"
}
  stdout {
    # Enabling 'rubydebug' codec on the stdout output will make logstash
    # pretty-print the entire event as something similar to a JSON representation.
    codec => rubydebug
  }
}

上面的配置好像没有给出输出。我只想在 csv 文件中打印 ipaddress，但最后我需要在 csv 文件中打印所有捕获的模式。所以我需要如下输出：

128.111.111.111,cpu0,nsfw,....

能否请您告诉我需要进行的更改。？

提前致谢

编辑：

我按照建议使用工具 http://grokconstructor.appspot.com/do/match#result

修复了正则表达式

现在我的正则表达式过滤器如下所示：

%{IP:client}\/%{WORD:cpu}\/%{NOTSPACE:nsfw}<%{NUMBER:number}>%{YEAR:year}\/%{MONTHNUM:month}\/%{MONTHDAY:day}%{SPACE:space}%{TIME:time}:%{SPACE:space2}%{NOTSPACE:comp}%{SPACE:space3}%{GREEDYDATA:messagetext}

如何捕获单个拆分并将其保存为 csv？

谢谢

编辑：

我终于使用文件插件解决了这个问题。输出 {

文件{ 路径 => "./logs/sample.log" message_pattern =>"%{client},%{number}" } }

Answer 1

过滤器部分中的 csv 标签用于解析输入并将消息分解为 key/value 对。

在您的情况下，您已经在使用 grok 解析输入，所以我打赌您不需要 csv 过滤器。

但是在输出中我们可以看到有一个 gorkfailure

{
       "message" => "128.111.111.11/cpu0/log:5988:W/"00601654e51a15472-76":687358:<9>2015/08/18 21:06:56.05: comp/45 55% of memory in use:  2787115008 bytes (change of 0)",
      "@version" => "1",
    "@timestamp" => "2015-08-18T21:06:56.05Z",
          "host" => "hostname",
          "path" => "/usr/phd/raveesh/sample.log_20150819000609",
          "tags" => [
        [0] "****_grokparsefailure****"
    ]
}

这意味着您的 grok 表达式无法解析输入。

您应该根据您的输入修改表达式，然后 csv 才能正确输出。

查看 http://grokconstructor.appspot.com/do/match 寻求帮助

顺便说一句，您确定 NSFW、CPU、COMPONENT_ID、... 模式在某处定义了吗？

高

配置 logstash-output-csv

configuring the logstash-output-csv

logstash

logstash-grok

logstash-configuration