Configuration Hadoop建议映射/减少任务的素数?
我在模板配置文件中看到了这些:Configuration Hadoop建议映射/减少任务的素数?,configuration,hadoop,mapreduce,Configuration,Hadoop,Mapreduce,我在模板配置文件中看到了这些: <property> <name>mapred.map.tasks</name> <value>2</value> <description>The default number of map tasks per job. Typically set to a prime several times greater than number of availab
<property>
<name>mapred.map.tasks</name>
<value>2</value>
<description>The default number of map tasks per job. Typically set
to a prime several times greater than number of available hosts.
Ignored when mapred.job.tracker is "local".
</description>
</property>
...
<property>
<name>mapred.reduce.tasks</name>
<value>1</value>
<description>The default number of reduce tasks per job. Typically set
to a prime close to the number of available hosts. Ignored when
mapred.job.tracker is "local".
</description>
</property>
mapred.map.tasks
2.
每个作业的默认映射任务数。典型设置
到一个比可用主机数多几倍的素数。
当mapred.job.tracker为“本地”时忽略。
...
mapred.reduce.tasks
1.
每个作业的默认减少任务数。典型设置
到接近可用主机数的素数。当
mapred.job.tracker为“本地”。
我找不到任何其他参考资料,无论是在网上还是在Hadoop O'Reilly的书中,关于为什么这些应该是prime。有人有什么想法吗
谢谢。请参阅;由于没有(或几乎没有)这样做的原因,配置文件中不再有此项
我至少有两个版本没有看到它,吉拉说它是在几年前解决的