Hadoop—增加xml中的映射任务不会';t在运行时增加映射任务

Hadoop—增加xml中的映射任务不会';t在运行时增加映射任务,hadoop,mapreduce,Hadoop,Mapreduce,我在我的conf/mapred site.xml <property> <name>mapred.tasktracker.map.tasks.maximum</name> <value>4</value> </property> <property> <name>mapred.tasktracker.reduce.tasks.maximum</name> <valu

我在我的
conf/mapred site.xml

<property>
  <name>mapred.tasktracker.map.tasks.maximum</name>
  <value>4</value>
</property>

<property>
  <name>mapred.tasktracker.reduce.tasks.maximum</name>
  <value>1</value>
</property>

mapred.tasktracker.map.tasks.max
4.
mapred.tasktracker.reduce.tasks.max
1.
但是当我运行作业时,它仍然运行
2个映射(这是默认映射)
?我怎样才能迫使这个数字增加

另外,我使用的是
Ubuntu四核
box

谢谢


<property>
  <name>mapred.tasktracker.map.tasks.maximum</name>
  <value>1</value>
  <final>true</final>
</property>
mapred.tasktracker.map.tasks.max 1. 真的

试试看。

您正在运行少量数据吗?可能是您的MapReduce作业仅在一个输入拆分上运行,因此不需要更多的映射程序。尝试在数百MB的数据上运行作业,看看是否仍然存在相同的问题


单个节点上能够运行的最大任务数与作业的映射任务数无关。您的任务可能是20个映射任务,而您的集群有5个映射槽,这只需要更长的时间。或者,您的群集可以有50个映射槽,但您的作业只有2个映射槽。

mapred.tasktracker.map.tasks。maximum
是tasktracker可以同时运行的最大任务数。但是,如果要为整个作业设置映射任务数,请将
mapred.map.tasks
设置为4。

原始查询是关于映射任务而不是reduce任务的。作业的映射任务总数等于输入拆分的数目。我们只能控制在TaskTracker上以| | el运行的map/reduce任务的数量。应该使用更多map任务而不是整个集群来运行该作业。