Hadoop pig忽略MaxReducer,而是使用mapred.reduce.tasks
我的pig脚本生成了大约5个MR jobs。 开始执行时,pig打印:Hadoop pig忽略MaxReducer,而是使用mapred.reduce.tasks,hadoop,apache-pig,Hadoop,Apache Pig,我的pig脚本生成了大约5个MR jobs。 开始执行时,pig打印: BytesPerReducer=1000000000 maxReducers=999 并继续创建一个只有一个减速器的MR作业: Neither PARALLEL nor default parallelism is set for this job. Setting number of reducers to 1 但是,对于由同一脚本生成的后续作业,它不会打印此行,并在其中一行中创建mapred.reduce.tas
BytesPerReducer=1000000000 maxReducers=999
并继续创建一个只有一个减速器的MR作业:
Neither PARALLEL nor default parallelism is set for this job. Setting number of reducers to 1
但是,对于由同一脚本生成的后续作业,它不会打印此行,并在其中一行中创建mapred.reduce.tasks
reducer,在我的集群中是4992
这是已知的bug吗?还是我遗漏了什么?在你的猪脚本中使用:
SET pig.exec.reducers.max 4000