Java 获取已终止作业的hadoop计数器值或自定义消息

Java 获取已终止作业的hadoop计数器值或自定义消息,java,hadoop,mapreduce,Java,Hadoop,Mapreduce,我正在处理一个MapReduce作业,如果输入文件中的某些记录格式不正确,则需要中止处理(在mapper中)。为了检查阈值,每次检测到记录时,计数器(org.apache.hadoop.mapreduce.counter)都会递增1。如果映射程序在递增1后检测到已超过阈值,则会终止作业 但是,我想在驱动程序中检测到故障是由于超过阈值造成的。由于作业被终止,更新的计数器值对驱动程序不可用,并且似乎无法将消息或状态更新从终止作业的映射程序传递给驱动程序 有什么办法可以做到这一点吗?看看这篇文章:计数

我正在处理一个MapReduce作业,如果输入文件中的某些记录格式不正确,则需要中止处理(在mapper中)。为了检查阈值,每次检测到记录时,计数器(org.apache.hadoop.mapreduce.counter)都会递增1。如果映射程序在递增1后检测到已超过阈值,则会终止作业

但是,我想在驱动程序中检测到故障是由于超过阈值造成的。由于作业被终止,更新的计数器值对驱动程序不可用,并且似乎无法将消息或状态更新从终止作业的映射程序传递给驱动程序


有什么办法可以做到这一点吗?

看看这篇文章:计数器似乎不是我的选择。如果作业通过,我会得到计数器值(计数器反映在通过的作业中有多少记录失败),但如果作业失败或被终止,我在驱动程序中不会得到计数器值。