我能否确保新的 Hadoop 任务将在输入文件中失败任务停止的位置恢复?
Can I insure that new Hadoop task will resume at point in inputfile where failed task left off?
我是运行 Hadoop 2.7.2.
假设有 10 个 Hadoop 任务正在运行,并且每个任务正在处理 1 个 HDFS 输入文本文件。
假设其中一项任务失败,比如在读取 HDFS 输入文件 file05 的第 566 行时。
默认情况下会发生什么? Hadoop 的第二次任务尝试会在 file05 的第 567 行恢复吗?还是第二个任务尝试从 file05 的第一行开始?
根据用例,我可能想从失败处理停止的地方继续。否则,在不同的情况下,我可能想重新开始处理该文件。
如何确保 Hadoop 的第二次任务尝试在 file05 的第 567 行继续?
如何确保第二个任务尝试从 file05 的第一行开始?
如果任务失败,Application Master 将重新尝试重新启动它。任务将重新开始。有一个参数表示允许重试的次数。如果超出,则整个应用程序将被终止。
我是运行 Hadoop 2.7.2.
假设有 10 个 Hadoop 任务正在运行,并且每个任务正在处理 1 个 HDFS 输入文本文件。
假设其中一项任务失败,比如在读取 HDFS 输入文件 file05 的第 566 行时。
默认情况下会发生什么? Hadoop 的第二次任务尝试会在 file05 的第 567 行恢复吗?还是第二个任务尝试从 file05 的第一行开始?
根据用例,我可能想从失败处理停止的地方继续。否则,在不同的情况下,我可能想重新开始处理该文件。
如何确保 Hadoop 的第二次任务尝试在 file05 的第 567 行继续?
如何确保第二个任务尝试从 file05 的第一行开始?
如果任务失败,Application Master 将重新尝试重新启动它。任务将重新开始。有一个参数表示允许重试的次数。如果超出,则整个应用程序将被终止。