logstash 配置中的 kafka 并将输出发送到 ES

Question

我正在尝试从 Kafka 获取数据并将其推送到 ES 索引。

input {
kafka {
bootstrap_servers => "XX.XXX.XXX.XXX:9092"
topics => ["timeseries_ht"]
}
}
output {
elasticsearch { hosts => ["XX.XXX.XXX.XXX:9200"]
index => "sound"
}
}

在运行这之后，我的 ES 主机中没有创建索引。 .配置有问题吗？我正在使用 LOGSTASH 5.0.0。还有 ES 5.0.0。

在 Logstash 2.x 版本中：

input {
kafka {
zk_connect => "XX.XXX.XXX.XXX:2181"
topic_id => ["timeseries_ht"]
}
}
output {
elasticsearch {
hosts => ["XX.XXX.XXX.XXX:9200"]
index => "sound"
}
}

也不适用于 Logstash 2.x。我无法在主机中看到索引创建。

任何人都可以帮助我在这里做错了吗？

Answer 1

使用 Logstash 2，您可以像这样配置您的 kafka 输入，这将起作用：

input {
  kafka {
    zk_connect => "XX.XXX.XXX.XXX:2181"
    topic_id => ["timeseries_ht"]
    auto_offset_reset => "smallest"
    reset_beginning => true
  }
}
output {
  elasticsearch {
    hosts => ["XX.XXX.XXX.XXX:9200"]
    index => "sound"
  }
}

logstash 配置中的 kafka 并将输出发送到 ES

kafka in logstash config and sending the output to ES

elasticsearch

logstash

logstash-grok