在MapReduce中将还原器的数量设置为1

在MapReduce中将还原器的数量设置为1,mapreduce,Mapreduce,当我们将多个减速器设置为一时会发生什么? 它是写入单个文件还是造成瓶颈(因为默认情况下,减速机的数量是一个)。 减速机的数量是否由运行时决定?使用1个减速机运行作业时,您会失去减速机任务的并行性。reducer任务将接收所有映射器的输出,并且可能非常占用内存,最终将写入单个文件。 默认情况下,减速器的数量为一个,但可以而且应该通过在作业配置中设置来增加 jobConf.set("mapred.reduce.tasks", numReducers)

当我们将多个减速器设置为一时会发生什么? 它是写入单个文件还是造成瓶颈(因为默认情况下,减速机的数量是一个)。
减速机的数量是否由运行时决定?

使用1个减速机运行作业时,您会失去减速机任务的并行性。reducer任务将接收所有映射器的输出,并且可能非常占用内存,最终将写入单个文件。 默认情况下,减速器的数量为一个,但可以而且应该通过在作业配置中设置来增加

      jobConf.set("mapred.reduce.tasks", numReducers)