Hadoop—增加xml中的映射任务不会';t在运行时增加映射任务
我在我的Hadoop—增加xml中的映射任务不会';t在运行时增加映射任务,hadoop,mapreduce,Hadoop,Mapreduce,我在我的conf/mapred site.xml <property> <name>mapred.tasktracker.map.tasks.maximum</name> <value>4</value> </property> <property> <name>mapred.tasktracker.reduce.tasks.maximum</name> <valu
conf/mapred site.xml
<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>4</value>
</property>
<property>
<name>mapred.tasktracker.reduce.tasks.maximum</name>
<value>1</value>
</property>
mapred.tasktracker.map.tasks.max
4.
mapred.tasktracker.reduce.tasks.max
1.
但是当我运行作业时,它仍然运行2个映射(这是默认映射)
?我怎样才能迫使这个数字增加
另外,我使用的是Ubuntu四核
box
谢谢
<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>1</value>
<final>true</final>
</property>
mapred.tasktracker.map.tasks.max
1.
真的
试试看。您正在运行少量数据吗?可能是您的MapReduce作业仅在一个输入拆分上运行,因此不需要更多的映射程序。尝试在数百MB的数据上运行作业,看看是否仍然存在相同的问题
单个节点上能够运行的最大任务数与作业的映射任务数无关。您的任务可能是20个映射任务,而您的集群有5个映射槽,这只需要更长的时间。或者,您的群集可以有50个映射槽,但您的作业只有2个映射槽。
mapred.tasktracker.map.tasks。maximum
是tasktracker可以同时运行的最大任务数。但是,如果要为整个作业设置映射任务数,请将mapred.map.tasks
设置为4。原始查询是关于映射任务而不是reduce任务的。作业的映射任务总数等于输入拆分的数目。我们只能控制在TaskTracker上以| | el运行的map/reduce任务的数量。应该使用更多map任务而不是整个集群来运行该作业。