Hadoop Mapper或Reducer任务中未处理的异常是否会导致任务失败?

Hadoop Mapper或Reducer任务中未处理的异常是否会导致任务失败?,hadoop,mapreduce,Hadoop,Mapreduce,我想知道映射器任务(或reducer任务)中未处理的异常是否会导致任务失败,或者只会忽略特定时间的输入对?我想是前者,但不太确定 如果异常没有重复出现(即重试将成功),则它将使任务失败,但将重试该任务(或者并行运行的推测性执行可能会继续)。如果异常总是发生(例如,存在错误的输入数据),则重试将继续失败,最终整个作业将失败。如果异常不是重复出现的(即重试将成功),则它将使任务失败,但任务将重试(或并行运行的推测执行可能会继续)。如果异常总是发生(例如,存在错误的输入数据),则重试将继续失败,最终整

我想知道映射器任务(或reducer任务)中未处理的异常是否会导致任务失败,或者只会忽略特定时间的输入对?我想是前者,但不太确定

如果异常没有重复出现(即重试将成功),则它将使任务失败,但将重试该任务(或者并行运行的推测性执行可能会继续)。如果异常总是发生(例如,存在错误的输入数据),则重试将继续失败,最终整个作业将失败。

如果异常不是重复出现的(即重试将成功),则它将使任务失败,但任务将重试(或并行运行的推测执行可能会继续)。如果异常总是发生(例如,存在错误的输入数据),则重试将继续失败,最终整个作业将失败。

这取决于错误。无论哪种方式,我总是强调用try-catch块包装映射并减少逻辑。在出现错误时,我递增一个计数器,其名称派生自异常类名。这不仅可以保护hadoop的其余部分不受逻辑错误的影响,还可以通过查看日志了解出错的程度。

这取决于错误。无论哪种方式,我总是强调用try-catch块包装映射并减少逻辑。在出现错误时,我递增一个计数器,其名称派生自异常类名。这不仅可以保护hadoop的其余部分不受逻辑错误的影响,还可以通过查看日志了解出错的程度