Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop 如何查找生成的MapTasks数?_Hadoop_Mapreduce - Fatal编程技术网

Hadoop 如何查找生成的MapTasks数?

Hadoop 如何查找生成的MapTasks数?,hadoop,mapreduce,Hadoop,Mapreduce,块大小、拆分和MapTasks数量之间的关系是什么?。 映射任务是如何调用的?默认情况下,每个块正好有一个InputSplit,因此每个块有一个映射任务。要更改此行为,必须将输入格式的大小上限更改为小于最大块大小 为了找到生成的地图任务的数量(在地图运行之后),可以使用计数器并在Stuts方法中增加它。< P>因为上面的答案是不完整的,还要考虑MPERD任务使用的文件是否是自然分割的。具有gzip编码的文件本质上是不可拆分的,并且无论块大小和输入拆分大小如何,每个gzip文件都会生成一个映射器

块大小、拆分和MapTasks数量之间的关系是什么?。
映射任务是如何调用的?

默认情况下,每个块正好有一个InputSplit,因此每个块有一个映射任务。要更改此行为,必须将输入格式的大小上限更改为小于最大块大小


为了找到生成的地图任务的数量(在地图运行之后),可以使用计数器并在Stuts方法中增加它。

< P>因为上面的答案是不完整的,还要考虑MPERD任务使用的文件是否是自然分割的。具有gzip编码的文件本质上是不可拆分的,并且无论块大小和输入拆分大小如何,每个gzip文件都会生成一个映射器

选择映射器数量的优先级:

所以,如果文件不可拆分-每个文件1个映射器

如果Splitsize>=块大小-每个块1个映射器


如果分割大小<块大小-每个文件的块大小/分割大小映射器。

为什么要向下投票!。我能不能有10个街区和30个分道?那些反对投票的人。你们阻止我们问问题。这是学习中最重要的部分。是的,如果您将最大分割大小指定为块大小的1/3,或者如果您实现了自己的输入格式,即每个块创建多个分割。