Hadoop 有猪地图任务完成挂钩吗?

Hadoop 有猪地图任务完成挂钩吗?,hadoop,mapreduce,apache-pig,Hadoop,Mapreduce,Apache Pig,我有一段代码,我想在pig生成的每个map任务结束时运行,以执行我的工作。换句话说,我需要在映射任务退出之前执行一些任务。以下是我的研究成果: 我们可以调用PigProgressNotificationListener.jobFinishedNotification(),但此方法是在整个作业完成时调用的,而不是在每个(内部)映射器任务完成时调用的 UDF中的Finish方法:在UDF末尾调用,不符合我的要求 我是MR world的初学者。在Hadoop的MapReduce实现中,有设置和清理函数

我有一段代码,我想在pig生成的每个map任务结束时运行,以执行我的工作。换句话说,我需要在映射任务退出之前执行一些任务。以下是我的研究成果:

  • 我们可以调用
    PigProgressNotificationListener.jobFinishedNotification()
    ,但此方法是在整个作业完成时调用的,而不是在每个(内部)映射器任务完成时调用的

  • UDF中的Finish方法:在UDF末尾调用,不符合我的要求


  • 我是MR world的初学者。

    在Hadoop的MapReduce实现中,有设置和清理函数,分别在每个映射器的开始和结束处调用,开发人员可以覆盖这些函数以获得所需的功能

    因此,如果Pig脚本没有那么复杂,无法表示为一系列MapReduce程序,则可以利用这些函数


    我确信Pig已经足够先进,能够支持这样的功能。所以,只需查找这些函数的Pig等价物。

    我在Pig中找不到任何此类等价物。这就是为什么在这里寻求帮助。