目录为空时如何防止 Hadoop 作业失败？

Question

当输入目录中没有文件时，我的作业失败了。我得到的例外如下：

org.apache.hadoop.mapreduce.lib.input.InvalidInputException:Input Pattern maprfs:/profile/*

我知道这个异常来自 FileInputFormat class。解决这个问题的最佳方法是什么。覆盖 InputFormat Class 是唯一的解决方案吗？

谢谢

Answer 1

1. 在您的输入路径中放置一个空文件。

2. 在驱动程序的开头列出您的输入路径 (S)。如果没有文件，则不提交作业直接退出。