Mapreduce 清管器平行平均值

Mapreduce 清管器平行平均值,mapreduce,apache-pig,Mapreduce,Apache Pig,是否可以指定pig输出10个r文件,就像MR使用10个减速机时那样?我的Pig脚本只输出一个r文件,我猜这意味着它只使用了一个reducer。我把 设置默认的_平行10 在我的脚本和stderr中,我可以在开头看到这一点 [主要]信息 org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.JobControlCompiler -将平行度设置为10 但是在MpReleLaununChER中间,它返回到 [主要]信息 org.apa

是否可以指定pig输出10个r文件,就像MR使用10个减速机时那样?我的Pig脚本只输出一个r文件,我猜这意味着它只使用了一个reducer。我把

设置默认的_平行10

在我的脚本和stderr中,我可以在开头看到这一点

[主要]信息 org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.JobControlCompiler -将平行度设置为10

但是在MpReleLaununChER中间,它返回到

[主要]信息 org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.JobControlCompiler -将并行度设置为1

我做了一个连接,求两列的和,然后计算一列的平均值,我怀疑这是因为平均值或组all。是这样吗?

是的。从

[...] keep in mind that when using group all, you are necessarily serializing your pipeline. That is, this step and any step after it until you split out the single bag now containing all of your records will not be done in parallel.