我可以在 Logstash 和 Elasticsearch 之间使用 Kafka 吗? (使用两个卡夫卡)
Can I use Kafka between Logstash and Elasticsearch? ( Using two Kafka)
我正在尝试将 Apache Kafka 与 Elastic Stack(Beats、Logstash、Elasticsearch 和 Kibana)集成
从图中可以看出,Kafka位于Beats和Logstash之间。我在想 我是否可以在 Logstash 和 Elasticsearch 之间放置另一个 Kafka。(我用红笔画的地方。)
两个Kafka好听吗?
有什么想法或想法要分享吗?
是的。
Logstash 可以作为输出写入 Kafka。
您可以使用 Kafka Connect Elasticsearch 从 Kafka 流式传输到 Elasticsearch。
如果您想在此处使用 Kafka buffer/scale 来自 Logstash 的输出,这是可能的并且很有意义。
但请记住,您还可以:
(a) 从 Beats 写入 Kafka 并使用 KSQL/Kafka Streams 等进行任何处理以写回 Kafka,然后 Kafka 连接到 Elasticsearch
要么
(b) 只需从 Logstash 写入 Elasticsearch
我正在尝试将 Apache Kafka 与 Elastic Stack(Beats、Logstash、Elasticsearch 和 Kibana)集成
从图中可以看出,Kafka位于Beats和Logstash之间。我在想 我是否可以在 Logstash 和 Elasticsearch 之间放置另一个 Kafka。(我用红笔画的地方。)
两个Kafka好听吗?
有什么想法或想法要分享吗?
是的。
Logstash 可以作为输出写入 Kafka。
您可以使用 Kafka Connect Elasticsearch 从 Kafka 流式传输到 Elasticsearch。
如果您想在此处使用 Kafka buffer/scale 来自 Logstash 的输出,这是可能的并且很有意义。
但请记住,您还可以:
(a) 从 Beats 写入 Kafka 并使用 KSQL/Kafka Streams 等进行任何处理以写回 Kafka,然后 Kafka 连接到 Elasticsearch 要么 (b) 只需从 Logstash 写入 Elasticsearch