Warning: file_get_contents(/data/phpspider/zhask/data//catemap/6/cplusplus/124.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop mapreduce使用2个映射器,1个reducer使用c++; 在说明之后,用单映射器和单减速器实现了C++中的单词计数程序。现在我需要使用两个映射器和一个减速机来解决相同的问题_C++_Hadoop_Hadoop Streaming_Hadoop Partitioning - Fatal编程技术网

Hadoop mapreduce使用2个映射器,1个reducer使用c++; 在说明之后,用单映射器和单减速器实现了C++中的单词计数程序。现在我需要使用两个映射器和一个减速机来解决相同的问题

Hadoop mapreduce使用2个映射器,1个reducer使用c++; 在说明之后,用单映射器和单减速器实现了C++中的单词计数程序。现在我需要使用两个映射器和一个减速机来解决相同的问题,c++,hadoop,hadoop-streaming,hadoop-partitioning,C++,Hadoop,Hadoop Streaming,Hadoop Partitioning,有人能在这方面帮助我吗?映射程序的数量取决于创建的输入拆分的数量。输入拆分的数量取决于输入的大小、块的大小、输入文件的数量(每个输入文件至少创建一个输入拆分)、输入文件是否可拆分等。另请参见 您可以将减速器的数量设置为所需的数量。我想在hadoop管道中,可以通过在运行hadoop时设置-D mapred.reduce.tasks=…来实现这一点。看 如果您想快速测试程序如何与多个映射器一起工作,只需在输入路径中放置一个新文件即可。这将使hadoop创建另一个输入拆分,从而创建另一个映射任务 P

有人能在这方面帮助我吗?

映射程序的数量取决于创建的输入拆分的数量。输入拆分的数量取决于输入的大小、块的大小、输入文件的数量(每个输入文件至少创建一个输入拆分)、输入文件是否可拆分等。另请参见

您可以将减速器的数量设置为所需的数量。我想在hadoop管道中,可以通过在运行hadoop时设置
-D mapred.reduce.tasks=…
来实现这一点。看

如果您想快速测试程序如何与多个映射器一起工作,只需在输入路径中放置一个新文件即可。这将使hadoop创建另一个输入拆分,从而创建另一个映射任务

PS:您提供的链接无法访问