我可以在 Logstash 和 Elasticsearch 之间使用 Kafka 吗? (使用两个卡夫卡)

Can I use Kafka between Logstash and Elasticsearch? ( Using two Kafka)

我正在尝试将 Apache KafkaElastic Stack(Beats、Logstash、Elasticsearch 和 Kibana)集成

从图中可以看出,Kafka位于Beats和Logstash之间。我在想 我是否可以在 Logstash 和 Elasticsearch 之间放置另一个 Kafka。(我用红笔画的地方。)

两个Kafka好听吗?

有什么想法或想法要分享吗?

是的。

  1. Logstash 可以作为输出写入 Kafka。

  2. 您可以使用 Kafka Connect Elasticsearch 从 Kafka 流式传输到 Elasticsearch。

如果您想在此处使用 Kafka buffer/scale 来自 Logstash 的输出,这是可能的并且很有意义。

但请记住,您还可以:

(a) 从 Beats 写入 Kafka 并使用 KSQL/Kafka Streams 等进行任何处理以写回 Kafka,然后 Kafka 连接到 Elasticsearch 要么 (b) 只需从 Logstash 写入 Elasticsearch