Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop 映射器发出的键值对数量是否有限制?_Hadoop_Mapreduce - Fatal编程技术网

Hadoop 映射器发出的键值对数量是否有限制?

Hadoop 映射器发出的键值对数量是否有限制?,hadoop,mapreduce,Hadoop,Mapreduce,在Map Reduce程序中,单个映射器可以发出的键值对数量是否有上限 我对Hadoop1.x和2.x都感兴趣。我在谷歌上搜索过,找不到任何答案,也找不到任何提及 谢谢单个映射器发出的键值对数量没有限制。 映射程序不断生成写入缓冲区的输出。此缓冲区的大小由配置mapreduce.task.io.sort.mb[默认值:256MB(CDH),100MB(源代码)]确定。 每当此缓冲区占用率达到容量的mapreduce.map.sort.spill.percent[Def:0.8]时,缓冲区内容

在Map Reduce程序中,单个映射器可以发出的键值对数量是否有上限

我对Hadoop1.x和2.x都感兴趣。我在谷歌上搜索过,找不到任何答案,也找不到任何提及


谢谢

单个映射器发出的键值对数量没有限制。

映射程序不断生成写入缓冲区的输出。此缓冲区的大小由配置mapreduce.task.io.sort.mb[默认值:256MB(CDH),100MB(源代码)]确定。

每当此缓冲区占用率达到容量的mapreduce.map.sort.spill.percent[Def:0.8]时,缓冲区内容就会溢出(非阻塞过程)到本地磁盘溢出文件。

我认为除了可以容纳在存储空间中的键值对数量之外,没有其他限制。