Warning: file_get_contents(/data/phpspider/zhask/data//catemap/5/google-sheets/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Mapreduce 如果partitioner类创建多个分区，但reduce任务的数量设置为更少_Mapreduce - Fatal编程技术网
Fatal编程技术网
  • mapreduce/
  • Mapreduce 如果partitioner类创建多个分区，但reduce任务的数量设置为更少

Mapreduce 如果partitioner类创建多个分区，但reduce任务的数量设置为更少

mapreduce

Mapreduce 如果partitioner类创建多个分区，但reduce任务的数量设置为更少,mapreduce,Mapreduce,如果我的partitioner类返回n个分区，并且在主函数中有job.setNumReduceTasks（1），将启动多少reduce任务和创建多少输出文件 一次只能运行一个分区，因为您已设置了作业。setNumReduceTasks（1） 输出文件的数量将为n，因为所有分区最终都会得到处理。如果数据未经处理，则Reducer任务将重新启动。在您的情况下，Reducer将运行n次

如果我的partitioner类返回n个分区，并且在主函数中有job.setNumReduceTasks（1），将启动多少reduce任务和创建多少输出文件

  • 一次只能运行一个分区，因为您已设置了
    作业。setNumReduceTasks（1）
  • 输出文件的数量将为n，因为所有分区最终都会得到处理。如果数据未经处理，则Reducer任务将重新启动。在您的情况下，Reducer将运行
    n次