Hadoop pig忽略MaxReducer,而是使用mapred.reduce.tasks

Hadoop pig忽略MaxReducer,而是使用mapred.reduce.tasks,hadoop,apache-pig,Hadoop,Apache Pig,我的pig脚本生成了大约5个MR jobs。 开始执行时,pig打印: BytesPerReducer=1000000000 maxReducers=999 并继续创建一个只有一个减速器的MR作业: Neither PARALLEL nor default parallelism is set for this job. Setting number of reducers to 1 但是,对于由同一脚本生成的后续作业,它不会打印此行,并在其中一行中创建mapred.reduce.tas

我的pig脚本生成了大约5个MR jobs。 开始执行时,pig打印:

 BytesPerReducer=1000000000 maxReducers=999
并继续创建一个只有一个减速器的MR作业:

 Neither PARALLEL nor default parallelism is set for this job. Setting number of reducers to 1
但是,对于由同一脚本生成的后续作业,它不会打印此行,并在其中一行中创建
mapred.reduce.tasks
reducer,在我的集群中是4992


这是已知的bug吗?还是我遗漏了什么?

在你的猪脚本中使用:

SET pig.exec.reducers.max 4000