Hadoop headerroom 错误计算

Question

我尝试运行一个 hadoop 应用程序。仅在单节点上为运行ning，在多节点集群上则不能运行。每次应用程序停止前，日志文件都会显示此错误

2015-11-27 14:50:19,513 INFO [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: Recalculating schedule, headroom=<memory:19456, vCores:-3>
2015-11-27 14:50:19,513 INFO [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: Reduce slow start threshold not met. completedMapsForReduceSlowstart 1

我搜索了一些解决方案，他们建议在 mapred-site.xml 中设置虚拟内存限制并在 yarn-site.xml 中设置虚拟内存比例所以，我现在的 mapred-site.xml 文件当前是

<configuration>
<property>
    <name>mapreduce.job.tracker</name>
    <value>HadoopMaster:5431</value>
</property>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<property>
    <name>mapreduce.task.timeout</name>
    <value>1800000</value>
</property>
<property>
    <name>mapreduce.map.memory.mb</name>
    <value>4096</value>
</property>
<property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>4096</value>
</property>
<property>
    <name>mapreduce.map.java.opts</name>
    <value>-Xmx3072m</value>
</property>
<property>
    <name>mapreduce.reduce.java.opts</name>
    <value>-Xmx3072m</value>
</property>
</configuration>

而且，我的 yarn-site.xml 文件是：

<configuration>

<!-- Site specific YARN configuration properties -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>HadoopMaster:8025</value>
</property>
<property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>HadoopMaster:8035</value>
</property>
<property>
    <name>yarn.resourcemanager.address</name>
    <value>HadoopMaster:8050</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>4</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>
</configuration>

Answer 1

出现以下错误，因为此作业的可用资源为"null"（表示没有可用资源）。

org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: Recalculating schedule, headroom=

当完成的映射器数量小于启动减速器所需的阈值时，会发生以下错误。该值由配置参数决定：mapred.reduce.slowstart.completed.maps（在 mapred-site.xml 中），默认设置为 .05（意味着，至少 5% 的映射器完成后，reducer 才会启动） .

org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: Reduce slow start threshold not met. completedMapsForReduceSlowstart 1

在您的情况下，completedMapsForReduceSlowStart 设置为 1。

下面的一段代码决定了这个值：

//check for slow start
if (!getIsReduceStarted()) {//not set yet
  int completedMapsForReduceSlowstart = (int)Math.ceil(reduceSlowStart * 
                  totalMaps);
  if(completedMaps < completedMapsForReduceSlowstart) {
    LOG.info("Reduce slow start threshold not met. " +
          "completedMapsForReduceSlowstart " + 
        completedMapsForReduceSlowstart);
    return;

这意味着，至少应该完成 1 个映射器（因为，我猜你的阈值设置为 5% 并且你有 20 个映射器，因此 20 的 5% = 1），在 reducer 之前可以开始了

因此，在您的情况下，甚至没有 1 个映射器已完成执行。

这说明你在yarn-site.xml和mapred-site.xml中的内存设置存在严重问题。 YARN RM 无法为您的映射器分配任何容器，因此没有一个映射器运行ning.

我在下面粘贴了我的内存设置（这对我来说非常有用）。将您的设置与以下设置进行比较，并按比例应用这些设置。例如在我的例子中，(yarn.scheduler.maximum-allocation-mb) / (yarn.scheduler.minimum-allocation-mb) = (9830) / (1228) = 8.

纱-site.xml

<property> <name>yarn.app.mapreduce.am.resource.mb</name> <value>1228</value> </property>
<property> <name>yarn.app.mapreduce.am.command-opts</name> <value>-Xmx983m</value> </property>
<property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>1228</value> </property>
<property> <name>yarn.scheduler.maximum-allocation-mb</name> <value>9830</value> </property>
<property> <name>yarn.nodemanager.resource.memory-mb</name> <value>9830</value> </property>

mapred-site.xml

<property> <name>mapreduce.map.memory.mb</name> <value>1228</value> </property>
<property> <name>mapreduce.reduce.memory.mb</name> <value>1228</value> </property>
<property> <name>mapreduce.map.java.opts</name> <value>-Xmx983m</value> </property>
<property> <name>mapreduce.reduce.java.opts</name> <value>-Xmx983m</value> </property>

此外，请参阅以下有关调整 YARN 配置的博客：

正确设置内存配置后，您应该能够运行您的工作。

Hadoop headerroom 错误计算

Hadoop headerroom miscalculation

python

streaming

hadoop