CPU SPARK HISTORY SERVER 的使用率为 100%

CPU usage on SPARK HISTORY SERVER are 100%

CPU SPARK HISTORY SERVER 上的使用率为 100%,这是 Spark 历史服务器上的正确行为吗?

我用的是CDH 5.4.3

我不希望 spark 历史服务器处于 100% CPU。我会检查 spark 历史服务器的堆大小,如果它已达到最大值,请考虑添加更多。

最后,我删除了所有旧日志,cpu使用率降低了!

hadoop jar /opt/cloudera/parcels/CDH/lib/solr/contrib/mr/search-mr-job.jar org.apache.solr.hadoop.HdfsFindTool -find /user/spark/applicationHistory -mtime +7 | xargs hdfs dfs -rm -r -skipTrash

我认为我的cloudera版本有这个错误。