Hadoop 为清管器作业设置最小减速机数量

我想为我的清管工作设置最小数量的减速机。 我试着使用： 设置默认_平行57

但是，这就迫使所有的工作都有57个减速机

---

是否有任何设置可以强制清管器作业具有至少57个或更多的减速器。

我认为这是不可能的

---

您可以做的是将

default\u parallel

设置为57，对于那些您希望拥有更多减速器的操作，您可以使用

parallel

指定更多的减速器。我知道这并不是您想要的。

我尝试使用SET mapred.reduce.tasks 57；但是没有帮助。谢谢。我最后只做了那件事。我发现，默认情况下，Pig会为每个reducer发送1GB的数据。pig.exec.reducers.bytes.per.reducer设置控制每个reducer的数据大小。我使用这个设置设置为125MB，因此我能够动态调整减速机的数量。