Elasticsearch

Question

我有一个值是动态的字段。我想将 space 分隔的标记存储在 completion suggester

的数组字段中

假设我的字段 val 是 hi how are you 那么我想要一个包含 [hi how are you, how are you, are you, you]

的数组

我尝试使用 split filter 作为 csv 中的数据。我无法做到这一点。无论如何只用ES，Logstash来做到这一点。

Answer 1

基于我链接的解决方案，您可以按如下方式实现您所需要的。

首先创建一个利用 script 处理器构建所需输入数组的摄取管道：

PUT _ingest/pipeline/csv-parser
{
  "processors": [
    {
      "csv": {
        "field": "message",
        "target_fields": [
          "val",
          "val_type",
          "id"
        ]
      }
    },
    {
      "script": {
        "source": """
          def tokens = new ArrayList(Arrays.asList(/\s+/.split(ctx.val)));
          def nbTokens = tokens.size();
          def input = [];
          for (def i = nbTokens; i > 0; i--) {
            input.add(tokens.join(" "));
            tokens.remove(0);
          }

          ctx.val = [
            'input': input,
            'contexts': [
              'type': [ctx.val_type]
            ]
          ]
          """
      }
    },
    {
      "remove": {
        "field": "message"
      }
    }
  ]
}

然后你可以像这样索引文档：

PUT index/_doc/1?pipeline=csv-parser
{
  "message": "hi how are you,seller,10223667"
}

生成的文档将如下所示：

GET index/_doc/1
->
{
    "val" : {
      "input" : [
        "hi how are you",
        "how are you",
        "are you",
        "you"
      ],
      "contexts" : {
        "type" : [
          "seller"
        ]
      }
    },
    "val_type" : "seller",
    "id" : "10223667"
}

Elasticsearch - 用逗号分割 - 分割过滤器 Logstash

Elasticsearch - split by comma - split filter Logstash

logstash