Hadoop 使用Map Reduce代码对失败记录进行异常处理…需要帮助

如何对失败记录进行异常处理，以及如何在将来使用map reduce代码重新处理失败记录（必需）…感谢您在这方面的帮助，谢谢。

如果您的map函数中有异常处理，那么您可以为这些值添加一个指定的键（例如，如果将字符串作为键，则为“错误解析”）并在您的reducer将其写入日志，以备将来调查。

如果数据中的某些内容不符合预期，并导致处理失败，则只需将该记录写入日志中，以标记该记录以便重新处理，请参见示例

 try{
        //Business logic goes here
        //write output of mapper if everything is as expected
    }catch(Ex e){
        //If something is not right control comes here, then dont break the execution flow
        //simply write the current record for re-validation for ex. re-processing.log something like this
    }

---

然后，您可以稍后重新访问此文件。

是的，我有时会采用这种方法。这是有用的