CPU SPARK HISTORY SERVER 的使用率为 100%
CPU usage on SPARK HISTORY SERVER are 100%
CPU SPARK HISTORY SERVER 上的使用率为 100%,这是 Spark 历史服务器上的正确行为吗?
我用的是CDH 5.4.3
我不希望 spark 历史服务器处于 100% CPU。我会检查 spark 历史服务器的堆大小,如果它已达到最大值,请考虑添加更多。
最后,我删除了所有旧日志,cpu使用率降低了!
hadoop jar /opt/cloudera/parcels/CDH/lib/solr/contrib/mr/search-mr-job.jar org.apache.solr.hadoop.HdfsFindTool -find /user/spark/applicationHistory -mtime +7 | xargs hdfs dfs -rm -r -skipTrash
我认为我的cloudera版本有这个错误。
CPU SPARK HISTORY SERVER 上的使用率为 100%,这是 Spark 历史服务器上的正确行为吗?
我用的是CDH 5.4.3
我不希望 spark 历史服务器处于 100% CPU。我会检查 spark 历史服务器的堆大小,如果它已达到最大值,请考虑添加更多。
最后,我删除了所有旧日志,cpu使用率降低了!
hadoop jar /opt/cloudera/parcels/CDH/lib/solr/contrib/mr/search-mr-job.jar org.apache.solr.hadoop.HdfsFindTool -find /user/spark/applicationHistory -mtime +7 | xargs hdfs dfs -rm -r -skipTrash
我认为我的cloudera版本有这个错误。