了解 Hive MR 输出

Understanding Hive MR Output

当我 运行 一个 Hive 语句和相应的 MR 作业启动时，它通常有这样一行：

Stage-Stage-1: Map: 33 Reduce: 131 Cumulative CPU: 8006.47 sec HDFS Read: 1280804751 HDFS Write: 279261996966 SUCCESS

Total MapReduce CPU Time Spent: 0 days 2 hours 13 minutes 26 seconds 470 msec

我对解释该行有一些疑问。

  1. 数字1280804751、279261996966是什么单位？字节？块？有什么方法可以将它们转换为人类可读的格式？
  2. "Total MapReduce CPU Time Spent" 是什么意思？ "Cumulative CPU" 是什么意思？

  1. HDFS Read 和 HDFS Write 值以字节为单位。

  2. Cumulative CPU 是该阶段 MapReduce 作业的所有任务的总 CPU 时间。 Total MapReduce CPU Time Spent 是查询所有阶段的总 CPU 时间。在您的示例中，只有一个阶段，因此两个值具有相同的持续时间。