logstash 过滤器，未过滤的行

Question

我是 Logstash 过滤器的新手，通过浏览不同的博客和链接来详细了解。我有几个问题仍未得到解答。

。如果我的日志文件有不同的日志模式，例如

2017-01-30 14:30:58 INFO ThreadName:33 - {"t":1485786658088,"h":"abcd1234", "l":"INFO", "cN":"org.logstash.demo", "mN":"getNextvalue", "m":"fetching next value"} 2017-01-30 14:30:58 INFO AnotherThread:33 -my log pattern is different

我有下面的过滤器，它成功地过滤了日志的第 1 行

 grok
 {  
      match => [ "message", "%{TIMESTAMP_ISO8601:LogDate} %{LOGLEVEL:loglevel} %{WORD:threadName}:%{NUMBER:ThreadID} - %{GREEDYDATA:Line}" ] 
  }
  json
  {
      source => "Line" 
  }

无法使用过滤模式过滤的行会发生什么情况？
有什么方法可以捕获所有未过滤的行并发送到 elasticSearch 吗？
有什么好的读物 material 我可以在其中阅读有关输入、过滤器、输出插件的示例吗？

Answer 1

回答您的问题：

无法使用 grok 过滤的行将以 grok_parsefailure。确保通过 dropping 行处理它实际上不符合筛选条件。
据我所知，您不能单独捕获它们并将其推送到 ES。也许为此，你可以有多个 grok 模式，这样你就可以过滤掉它，然后将它发送到不同的 ES 索引。
我已经在上面的评论中添加了链接。

这个SO可以派上用场。希望对您有所帮助！

Answer 2

正如@darth_vader 指出的那样，您会在每个文档上得到一个 "grok_parsefailure" 标记，它与您在 grok{} 过滤器中的模式不匹配。但是，如何处理此故障取决于您。

默认情况下，所有事件都将进入您的输出{} 部分，这可能会将它们发送到 elasticsearch。您还可以有一个条件输出{}部分，它将已解析的日志发送到一个输出并将未解析的日志发送到另一个（文件{}输出，或不同的索引，或...）。

至于示例，官方文档往往包含不完整的片段（最多），因此您可能会在随机的互联网博客中找到更好的示例。

logstash 过滤器，未过滤的行

logstash filter , unfiltered lines

logstash

logstash-grok

elastic-stack