Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
单节点hadoop中有并行性吗?_Hadoop_Parallel Processing_Mahout - Fatal编程技术网

单节点hadoop中有并行性吗?

单节点hadoop中有并行性吗?,hadoop,parallel-processing,mahout,Hadoop,Parallel Processing,Mahout,我是hadoop的新手。我可以在单节点hadoop中运行mahout示例。 单节点hadoop中有并行性吗?(例如在作业、块中) (在我的工作负载中,hadoop的工作速度比WEKA快)您所指的模式与伪分布式模式相同。这是一个单节点集群。在这里,您有一个namenode、一个jobtracker和一个运行的datanode和tasktracker。您可以使用“jps”命令进行验证 默认情况下,tasktracker最多可以并行运行两个map和reduce任务(mapred.tasktracker

我是hadoop的新手。我可以在单节点hadoop中运行mahout示例。 单节点hadoop中有并行性吗?(例如在作业、块中)
(在我的工作负载中,hadoop的工作速度比WEKA快)

您所指的模式与伪分布式模式相同。这是一个单节点集群。在这里,您有一个namenode、一个jobtracker和一个运行的datanode和tasktracker。您可以使用“jps”命令进行验证


默认情况下,tasktracker最多可以并行运行两个map和reduce任务(mapred.tasktracker.map.tasks.maximum和mapred.tasktracker.reduce.tasks.maximum),因此您将在一台计算机上实际看到一些并发性。

ok谢谢。mapred.max.split.size的意思是什么?当我使用更多分区时,每次执行作业的时间都不同。它有一个与数据集容量相关的最佳值。这里的分割指的是映射程序处理的数据块。默认情况下,分割大小等于块大小64M。可以在hdfs-core.xml文件中找到它。来到mapred.max.split.size是映射程序可以处理的最大字节数。mapred.max.split.size的单位为字节。