PIG 脚本：reducer 抢占为挂起的 map 尝试腾出空间
PIG script: reducer preempted to make room for pending map attempts
我 运行 使用不同参数的同一个 PIG 脚本的多个实例。
当集群负载很重时，Map Reduce 作业日志显示大量 reducer 被抢占，这需要时间：
Reducer preempted to make room for pending map attempts Container killed
by the ApplicationMaster. Container killed on request. Exit code is 143
Container exited with a non-zero exit code 143
如何避免此类抢占问题以最小化脚本执行时间？
看看this link。
简而言之，您可以使用以下命令之一
SET mapred.reduce.slowstart.completed.maps 1.00;
SET mapreduce.job.reduce.slowstart.completedmaps 1.00;
取决于您的 Hadoop 版本（后者适用于 Hadoop 2.4.1+）。一旦所有映射器艺术完成，它将启动减速器。
我 运行 使用不同参数的同一个 PIG 脚本的多个实例。
当集群负载很重时，Map Reduce 作业日志显示大量 reducer 被抢占，这需要时间：
Reducer preempted to make room for pending map attempts Container killed
by the ApplicationMaster. Container killed on request. Exit code is 143
Container exited with a non-zero exit code 143
如何避免此类抢占问题以最小化脚本执行时间？
看看this link。
简而言之，您可以使用以下命令之一
SET mapred.reduce.slowstart.completed.maps 1.00;
SET mapreduce.job.reduce.slowstart.completedmaps 1.00;
取决于您的 Hadoop 版本（后者适用于 Hadoop 2.4.1+）。一旦所有映射器艺术完成，它将启动减速器。