Mapreduce 有没有办法指定烫伤中的绘图员数量?

Mapreduce 有没有办法指定烫伤中的绘图员数量?,mapreduce,scalding,Mapreduce,Scalding,我不熟悉这个滚烫的世界。我的滚烫工作将有多个阶段,我需要调整每个阶段分别 我发现我们可以通过使用和reducer来改变reducer的数量。此外,我还可以通过作业配置设置输入数据的拆分大小。但是,我没有看到有任何方法可以动态更改我的子任务的映射器数量 我错过什么了吗?有人知道如何为我的子任务指定映射器的数量吗?谢谢。得到了一些答案/想法,可能会对分享相同问题的其他人有所帮助 与映射器相比,控制还原器要容易得多 映射器由hadoop控制,没有类似的简单旋钮。您可以设置一些配置参数,让hadoop知

我不熟悉这个滚烫的世界。我的滚烫工作将有多个阶段,我需要调整每个阶段分别

我发现我们可以通过使用
和reducer
来改变reducer的数量。此外,我还可以通过作业配置设置输入数据的拆分大小。但是,我没有看到有任何方法可以动态更改我的子任务的映射器数量


我错过什么了吗?有人知道如何为我的子任务指定映射器的数量吗?谢谢。

得到了一些答案/想法,可能会对分享相同问题的其他人有所帮助

与映射器相比,控制还原器要容易得多

映射器由hadoop控制,没有类似的简单旋钮。您可以设置一些配置参数,让hadoop知道要启动多少映射任务

此堆栈溢出可能有帮助:

我能想到的一个解决方法是将主要任务改为小型任务,您可以单独调整输入数据的大小(映射器的大小)