如何在hadoop的mapreduce程序中增加映射器和还原器的数量?

如何在hadoop的mapreduce程序中增加映射器和还原器的数量?,hadoop,mapreduce,cluster-computing,reduce,Hadoop,Mapreduce,Cluster Computing,Reduce,我有一个由3个节点组成的集群,我想增加映射器和还原器的数量,这样每个节点都有5个映射器和还原器。我使用了下面的代码,但它不适合我。有什么帮助吗 mapred site.xml <configuration> <property> <name>mapred.job.tracker</name> <value>vhost2456:9001</value> <description>The host and port

我有一个由3个节点组成的集群,我想增加映射器和还原器的数量,这样每个节点都有5个映射器和还原器。我使用了下面的代码,但它不适合我。有什么帮助吗

mapred site.xml

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>vhost2456:9001</value>
<description>The host and port that the MapReduce job tracker runs
at.</description>
 </property>
 <property>
 <name>mapred.tasktracker.map.tasks.maximum</name>
 <value>15</value>
 </property>
 <property>
 <name>mapred.tasktracker.reduce.tasks.maximum</name>
 <value>15</value>
 </property>
 <property>
 <name>mapred.map.tasks</name>
 <value>5</value>
 </property>
 <property>
 <name>reduce.map.tasks</name>
 <value>5</value>
 </property>
 </configuration>

mapred.job.tracker
vhost2456:9001
MapReduce作业跟踪器运行的主机和端口
在
mapred.tasktracker.map.tasks.max
15
mapred.tasktracker.reduce.tasks.max
15
mapred.map.tasks
5.
减少.map.tasks
5.

看起来您在这里混合了多种配置设置:

这两个定义了每个从属节点(运行任务跟踪器)上可用的map和reduce插槽的数量:


mapred.tasktracker.map.tasks.max
15
mapred.tasktracker.reduce.tasks.max
15
其中as
mapred.map.tasks
是特定作业的一个(几乎被忽略)提示,指示要为作业安排多少map和reduce任务

最后一个config属性的格式不正确,我认为您的意思是
mapred.reduce.tasks
,它控制将为特定作业运行的还原程序的数量


因此,目前看起来您为给定的任务跟踪器配置了15个map和15个reduce插槽(这些值针对每个任务跟踪器,而不是整个集群)-将这些值修改为5。您还需要将此配置更改部署到所有3个集群节点,最后需要在所有3个节点上重新启动任务跟踪器(以使更改生效)。您应该能够在Job tracker Web UI中的map和reduce插槽数下看到更改。

您是否重新启动了jobtraker和所有tasktraker?你的任务是否足够大,至少有15*64mb。
<property>
  <name>mapred.tasktracker.map.tasks.maximum</name>
  <value>15</value>
</property>
<property>
  <name>mapred.tasktracker.reduce.tasks.maximum</name>
  <value>15</value>
</property>