Hadoop 映射程序任务完成事件

Hadoop 映射程序任务完成事件,hadoop,hbase,Hadoop,Hbase,我们在HBase上设置了map reduce任务。一旦框架实例化的映射器完成其任务,我就需要知道一个需求 有什么事情我必须看吗?谢谢。您可以在cleanup()方法中转储该数据。映射程序完成所有操作后,将调用cleanup(),因此它应该可以达到目的,IMHO。您可以在cleanup()方法中转储该数据。映射程序完成所有操作后,会调用cleanup(),因此它应该可以达到目的,IMHO。要添加到Tariq的答案中,实际上可以覆盖映射程序类中的setup()和cleanup()方法。因此,对于每个

我们在HBase上设置了map reduce任务。一旦框架实例化的映射器完成其任务,我就需要知道一个需求


有什么事情我必须看吗?谢谢。

您可以在cleanup()方法中转储该数据。映射程序完成所有操作后,将调用cleanup(),因此它应该可以达到目的,IMHO。

您可以在cleanup()方法中转储该数据。映射程序完成所有操作后,会调用cleanup(),因此它应该可以达到目的,IMHO。

要添加到Tariq的答案中,实际上可以覆盖映射程序类中的setup()和cleanup()方法。因此,对于每个映射任务,cleanup()方法在最后被调用一次。
请在那里进行最后的处理。

要添加到Tariq的答案中,您实际上可以覆盖Mapper类中的setup()和cleanup()方法。因此,对于每个映射任务,cleanup()方法在最后被调用一次。
请在那里进行最后处理。

您能补充一些问题的详细信息吗?比如,在映射器完成后,您希望完成什么?比如,一旦映射器完成工作,我需要将该映射器中保存的一些数据转储到存储中。例如,如果映射程序正在对其映射的所有关键点进行跟踪,以及一些信息(比如一些业务逻辑),我想在映射程序完成任务后将其转储到一个文件中。您可以添加有关该问题的更多详细信息吗?比如,在映射器完成后,您希望完成什么?比如,一旦映射器完成工作,我需要将该映射器中保存的一些数据转储到存储中。例如,如果映射器正在跟踪它映射的所有键,以及一些信息(比如一些业务逻辑),我希望在映射器完成任务后将其转储到一个文件中。