Hadoop 如何在MapReduce中设置执行器编号?

Hadoop 如何在MapReduce中设置执行器编号?,hadoop,mapreduce,Hadoop,Mapreduce,在spark中,我们可以设置执行者编号 在mapreduce中,如何设置执行器编号?不设置映射或减少任务数量,但设置执行器数量 我知道如何为每个映射设置vcores和mem或减少任务使用。 但是地图任务太多了,我不想让我的mr作业占用太多资源。地图绘制者的数量取决于输入数据的拆分的数量,这取决于输入格式,也就是说用户可以通过mapreduce.job.maps给出关于地图绘制者数量的提示,但是,InputFormat可以选择忽略它。还原程序的数量可通过mapreduce.job.reduces配

在spark中,我们可以设置执行者编号

在mapreduce中,如何设置执行器编号?不设置映射或减少任务数量,但设置执行器数量

我知道如何为每个映射设置vcores和mem或减少任务使用。
但是地图任务太多了,我不想让我的mr作业占用太多资源。

地图绘制者的数量取决于输入数据的
拆分的数量,这取决于
输入格式
,也就是说用户可以通过
mapreduce.job.maps
给出关于
地图绘制者数量的提示,但是,
InputFormat
可以选择忽略它。还原程序的数量可通过
mapreduce.job.reduces
配置
Mapper
的数量取决于输入数据的
拆分数量,这取决于
InputFormat
,用户可以通过
mapreduce.job.maps
提示
映射程序的数量,但是,
InputFormat
可以选择忽略它。还原器的数量可通过
mapreduce.job.reduces

进行配置。谢谢,我想知道的不是如何设置map或reduce task num,而是如何设置executor num。@HoganFan先生中没有executor num这样的东西。有节点管理器(纱线集群的一部分)-执行任务,NM的数量及其设置不是群集作业配置。谢谢,我想知道的不是如何设置映射或减少任务数量,而是如何设置executor num。@HoganFan先生中没有executor num这样的东西。有节点管理器(纱线群集的一部分)-执行任务,NM的数量及其设置不是群集作业配置。