将多个 Elastic Beats 扩展到集中式 Logstash 的最佳实践是什么
What is best practice to scale multiple Elastic Beats to centralized Logstash
我的目标是查看连接到集中式 Logstash 实例的 100 多台机器的日志，输出到 Elasticsearch 集群，从 5 台机器开始。
扩展此类应用程序的最佳做法是什么？是否有任何好的文章可供阅读或有任何示例？
我对此做了很多研究，我唯一发现的是水平缩放每个实例：
- 扩展 Logstash
- 扩展 Elasticsearch
但我认为还有很多需要考虑的地方。
其他想法将不胜感激。
这在很大程度上取决于每个 logstash 实例必须进行的解析。
我正在从 100 多台机器上收集例如 apache 日志，只有一个 logstash 实例在 elk 集群的一个节点上运行，没有任何问题。 Grok Parsing 往往会占用大量资源。所以我会做以下事情：
- 安装一个 Logstash 实例
- 慢慢添加客户端，监控系统性能
- 一旦达到自己的阈值，就添加另一个 logstash 实例。
瞧！ :)
我的目标是查看连接到集中式 Logstash 实例的 100 多台机器的日志，输出到 Elasticsearch 集群，从 5 台机器开始。
扩展此类应用程序的最佳做法是什么？是否有任何好的文章可供阅读或有任何示例？
我对此做了很多研究，我唯一发现的是水平缩放每个实例：
- 扩展 Logstash
- 扩展 Elasticsearch
但我认为还有很多需要考虑的地方。
其他想法将不胜感激。
这在很大程度上取决于每个 logstash 实例必须进行的解析。 我正在从 100 多台机器上收集例如 apache 日志，只有一个 logstash 实例在 elk 集群的一个节点上运行，没有任何问题。 Grok Parsing 往往会占用大量资源。所以我会做以下事情：
- 安装一个 Logstash 实例
- 慢慢添加客户端，监控系统性能
- 一旦达到自己的阈值，就添加另一个 logstash 实例。
瞧！ :)