ELK Grok 模式 - nginx 错误日志的参数数量可变
ELK Grok pattern - variable number of parameters for nginx error log
我正在尝试设置一个 GROK 模式来捕获 nginx 错误日志，但内容是可变的。例如，如果没有引荐来源网址，它只是将该值留在行尾：
2018/08/30 09:30:32 [error] 84843#0: *24414687217 open() "/www/sites/js/draw.js" failed (2: No such file or directory), client: 172.68.211.134, server: www.example.com, request: "GET /bundles/app/js/draw.js HTTP/1.1", host: "www.example.com"
但如果有，则添加：
, referrer: "https://www.example.com/de/member/foo"
我当前的 GROK 模式适用于带有引荐来源网址的行，但我如何让它处理这两个示例？
%{DATA:nginx_error.time} \[%{DATA:nginx_error.level}\] %{NUMBER:nginx_error.pid}#%{NUMBER:nginx_error.tid}: (\*%{NUMBER:nginx_error.connection_id} )?%{GREEDYDATA:nginx_error.message}, client: %{IP:nginx_error.client}, server: %{HOSTNAME:nginx_error.server}, request: \"%{DATA:nginx_error.request}\", host: \"%{HOSTNAME:nginx_error.host}\", referrer: \"%{URI:nginx_error.referrer}\"
您可以使用 ? 将引荐来源设为可选，例如 (, referrer: )?(\"%{URI:referrer}\")?
请注意括号 (...) 中的数据称为 capturing group。
你的模式将变成，
%{DATA:nginx_error.time} \[%{DATA:nginx_error.level}\] %{NUMBER:nginx_error.pid}#%{NUMBER:nginx_error.tid}: (\*%{NUMBER:nginx_error.connection_id} )?%{GREEDYDATA:nginx_error.message}, client: %{IP:nginx_error.client}, server: %{HOSTNAME:nginx_error.server}, request: \"%{DATA:nginx_error.request}\", host: \"%{HOSTNAME:nginx_error.host}\"(, referrer: )?(\"%{URI:referrer}\")?
我正在尝试设置一个 GROK 模式来捕获 nginx 错误日志，但内容是可变的。例如，如果没有引荐来源网址，它只是将该值留在行尾：
2018/08/30 09:30:32 [error] 84843#0: *24414687217 open() "/www/sites/js/draw.js" failed (2: No such file or directory), client: 172.68.211.134, server: www.example.com, request: "GET /bundles/app/js/draw.js HTTP/1.1", host: "www.example.com"
但如果有，则添加：
, referrer: "https://www.example.com/de/member/foo"
我当前的 GROK 模式适用于带有引荐来源网址的行，但我如何让它处理这两个示例？
%{DATA:nginx_error.time} \[%{DATA:nginx_error.level}\] %{NUMBER:nginx_error.pid}#%{NUMBER:nginx_error.tid}: (\*%{NUMBER:nginx_error.connection_id} )?%{GREEDYDATA:nginx_error.message}, client: %{IP:nginx_error.client}, server: %{HOSTNAME:nginx_error.server}, request: \"%{DATA:nginx_error.request}\", host: \"%{HOSTNAME:nginx_error.host}\", referrer: \"%{URI:nginx_error.referrer}\"
您可以使用 ? 将引荐来源设为可选，例如 (, referrer: )?(\"%{URI:referrer}\")?
请注意括号 (...) 中的数据称为 capturing group。
你的模式将变成，
%{DATA:nginx_error.time} \[%{DATA:nginx_error.level}\] %{NUMBER:nginx_error.pid}#%{NUMBER:nginx_error.tid}: (\*%{NUMBER:nginx_error.connection_id} )?%{GREEDYDATA:nginx_error.message}, client: %{IP:nginx_error.client}, server: %{HOSTNAME:nginx_error.server}, request: \"%{DATA:nginx_error.request}\", host: \"%{HOSTNAME:nginx_error.host}\"(, referrer: )?(\"%{URI:referrer}\")?