如何监控 spark 应用程序的内存和 CPU 使用情况？

Question

在 运行 我的 spark 应用程序之后，我想监控它的内存和 cpu 使用情况来评估它的性能，但找不到任何选项。可以监控吗？我如何监控 spark 应用程序的内存和 CPU 使用情况？

Answer 1

有几个选项：

1. Ganglia 是一个
2. 如果您 运行 在自己的集群上，HDP 或 Cloudera 都有实时 CPU 和内存消耗图表。
3. 如果您想要特定的 JVM 指标，那么我建议 FlameGraph，尽管它不是实时的。
4. 还有Grafana，它非常强大，你可以用它跟踪很多指标，而且是实时的。