Hadoop 如果任务失败,是否可以进行干预?

Hadoop 如果任务失败,是否可以进行干预?,hadoop,Hadoop,我有一个mapreduce作业,在许多URL上运行并解析它们。 我需要一种方法来处理一个场景,其中一个解析任务在一个致命错误(如OOM错误)上崩溃。 在正常的hadoop行为中,任务将重试一段定义的时间,然后作业失败。 问题在于URL以某种方式损坏导致此错误。这些URL将在所有重试中失败 有没有办法在任务失败后进行干预?或者在达到重试次数之后?防止整个工作失败

我有一个mapreduce作业,在许多URL上运行并解析它们。 我需要一种方法来处理一个场景,其中一个解析任务在一个致命错误(如OOM错误)上崩溃。 在正常的hadoop行为中,任务将重试一段定义的时间,然后作业失败。 问题在于URL以某种方式损坏导致此错误。这些URL将在所有重试中失败

有没有办法在任务失败后进行干预?或者在达到重试次数之后?防止整个工作失败