Warning: file_get_contents(/data/phpspider/zhask/data//catemap/5/date/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
在Hadoop上,运行应用程序(如WordCount或Pi Estimator)时是否可以增加映射(而不是maptask或node!)_Hadoop - Fatal编程技术网

在Hadoop上,运行应用程序(如WordCount或Pi Estimator)时是否可以增加映射(而不是maptask或node!)

在Hadoop上,运行应用程序(如WordCount或Pi Estimator)时是否可以增加映射(而不是maptask或node!),hadoop,Hadoop,我是初学者程序员和hadoop学习者 我正在使用5台PC(具有双核cpu和ram 2G)测试hadoop全分布式模式 在启动maptask和hdfs之前,我知道我必须配置文件(Ip上的etc/hosts、hostname和hadoop文件夹/conf/masters、slaves文件),所以我完成了该文件的配置。 然后呢, 我有一个问题 运行应用程序(如WordCount或Pi Estimator)时,是否可以增加(或添加)映射(而不是mapTask或node!) 例如,我正在使用10map,迭

我是初学者程序员和hadoop学习者

我正在使用5台PC(具有双核cpu和ram 2G)测试hadoop全分布式模式 在启动maptask和hdfs之前,我知道我必须配置文件(Ip上的etc/hosts、hostname和hadoop文件夹/conf/masters、slaves文件),所以我完成了该文件的配置。 然后呢,

我有一个问题

运行应用程序(如WordCount或Pi Estimator)时,是否可以增加(或添加)映射(而不是mapTask或node!)

例如,我正在使用10map,迭代100000000运行Pi估计器应用程序

在运行应用程序的过程中,我感觉它太慢了,所以我想增加map,即使hadoop状态正在运行。可能吗?如果是真的,请告诉我怎么走

或者在运行应用程序之前,我是否可以配置配置文件(如hdfs-site.xml或mapred-site.xml),以便在运行应用程序时动态增加映射


stack overflow社区的hadoop master用户,请告诉我真相的详细信息。

您可以设置mapred.map.tasks并向作业提示您需要多少映射者,但这只是一个提示,hadoop不一定会遵守。通过设置mapred.tasktracker.reduce.tasks.max,可以设置一次运行的最大并发映射任务数


增加(或添加)映射(不是mapTask或node!)
不清楚映射是什么意思。也许这会帮助你理解地图绘制程序。很简单!当我输入Hadoop命令时,例如,Hadoop jar Hadoop-example-1.0.4 Pi 10(不,不,不,我不告诉你每个映射有多少任务。我只想知道我可以在运行的应用程序上添加到映射(Hadoop jar Hadoop-examples-1.0.4 Pi 10)(我现在明白了。在这种情况下,不,我认为不可能动态地将映射器添加到运行的作业中)。