Hadoop 为什么一个猪/蜂巢作业有多个MapReduce作业?

Hadoop 为什么一个猪/蜂巢作业有多个MapReduce作业?,hadoop,hive,apache-pig,Hadoop,Hive,Apache Pig,我正在使用Pig运行我的hadoop作业。当我运行pig脚本,然后导航到Thread resource manager UI时,我可以看到为同一个pig作业创建了多个MapReduce作业?我相信蜂巢工作也是如此 有人能告诉我这背后的原因吗?一个清管器作业根据什么划分为多个mapreduce作业?其中一个是TempletonControllerJob 谢谢Templeton控制器作业就像父作业一样,它将调用另一个子map reduce作业。基本上是控制执行 在执行之前,Pig基本上会提出一个执

我正在使用Pig运行我的hadoop作业。当我运行pig脚本,然后导航到Thread resource manager UI时,我可以看到为同一个pig作业创建了多个MapReduce作业?我相信蜂巢工作也是如此

有人能告诉我这背后的原因吗?一个清管器作业根据什么划分为多个mapreduce作业?其中一个是TempletonControllerJob


谢谢

Templeton控制器作业就像父作业一样,它将调用另一个子map reduce作业。基本上是控制执行

在执行之前,Pig基本上会提出一个执行计划——它扫描Pig脚本中的所有步骤,并将可以在单个作业中执行的步骤组合在一起。当pig脚本中有两个步骤无法在单个作业中计算时,它会将其拆分为两个步骤。一旦完成合并并计算每个作业中的作业数和步骤以得出最终结果,它就开始执行