logstash geoip.location 映射到 geo_point 不工作

Question

我可以在我的默认映射中看到 geoip.location 映射到 geo_point 类型：

GET myserver:9200/_template
    {
      "logstash": {
        "order": 0,
        "version": 50001,
        "template": "logstash-*",
        "settings": {
          "index": {
            "refresh_interval": "5s"
          }
        },
        "mappings": {
          "_default_": {
            "dynamic_templates": [
              {
                "message_field": {
                  "path_match": "message",
                  "mapping": {
                    "norms": false,
                    "type": "text"
                  },
                  "match_mapping_type": "string"
                }
              },
              {
                "string_fields": {
                  "mapping": {
                    "norms": false,
                    "type": "text",
                    "fields": {
                      "keyword": {
                        "type": "keyword"
                      }
                    }
                  },
                  "match_mapping_type": "string",
                  "match": "*"
                }
              }
            ],
            "_all": {
              "norms": false,
              "enabled": true
            },
            "properties": {
              "@timestamp": {
                "include_in_all": false,
                "type": "date"
              },
              "geoip": {
                "dynamic": true,
                "properties": {
                  "ip": {
                    "type": "ip"
                  },
                  "latitude": {
                    "type": "half_float"
                  },
                  "location": {
                    "type": "geo_point"
                  },
                  "longitude": {
                    "type": "half_float"
                  }
                }
              },
              "@version": {
                "include_in_all": false,
                "type": "keyword"
              }
            }
          }
        },
        "aliases": {}
      }
    }

我在 logstash 过滤器中有这个以从我的字段之一获取 geoip 数据：

geoip {
  source => "myField"
  add_field => [ "[geoip][coordinates]", "%{[geoip][longitude]}" ]
  add_field => [ "[geoip][coordinates]", "%{[geoip][latitude]}"  ]
}
mutate {
  convert => [ "[geoip][coordinates]", "float"]
}

但是，当它进入 ES 时，位置字段是 "number"

此外，如果我尝试使用 kibana 地图可视化，它会显示 "No Compatible Fields"

为什么默认映射不起作用？

编辑：我也试过 geoip { source => "myfield"} 因为我的默认映射是使用位置而不是坐标，但这没有用。

我也摆脱了变异并尝试了这个，但它也不起作用：

geoip {
  source => "myfield"
  add_field => [ "[geoip][location]", "%{[geoip][longitude]}" ]
  add_field => [ "[geoip][location]", "%{[geoip][latitude]}"  ]
}

Answer 1

您可能只是打错了字（第 1 点），但还有一些其他事项需要注意。

您在 logstash 中使用 geoip.coordinates，在 _mapping

geoip.location

您需要删除 convert => [ "[geoip][coordinates]", "float"] - 这是错误的。
一旦 ES 中的字段中有数据，您就无法将其转换为 geo_point 而不使用新映射重新索引数据（如果您处于开发阶段，这通常意味着删除任何索引并重新插入您的数据）。
任何映射更改后，kibana 设置中有一个按钮可以重新加载您的映射。

Answer 2

https://discuss.elastic.co/t/geoip-location-not-getting-mapped-to-a-geo-point-type/78625

问题是我不了解索引映射的工作原理。此默认映射应用于与名称 "logstash-*" 匹配的索引，而我的索引名称与该名称不匹配。

将我的索引名称更改为 logstash-myindex 成功了。

logstash geoip.location 映射到 geo_point 不工作

logstash geoip.location mapping to geo_point not working

geolocation

elasticsearch

logstash

logstash-grok

elastic-stack