HADOOP - 作为映射器输出生成的输出文件数

Question

我想知道如果只有一个映射器（没有缩减器，没有组合器等）会产生多少文件 运行 对于所有文件拆分。

例子- 如果有 4 个文件拆分。然后有一个映射器将处理所有文件拆分。 有多少文件作为映射器输出？？ -> 一个或四个

Answer 1

每个地图任务将产生一个输出文件。如果您在 HDFS 上有一个文件被分成四个块，您将从 Map-Only 作业中获得四个输出文件。如果输入文件不是可拆分格式，如 GZip，它将被合并，只有一个映射器将作用于它，输出一个文件。