Mapreduce Hadoop V2:关闭洗牌/排序?

Mapreduce Hadoop V2:关闭洗牌/排序?,mapreduce,hadoop2,Mapreduce,Hadoop2,我想知道是否有任何方法可以在作业的映射阶段关闭洗牌/排序?我的工作不需要Reduce阶段,所以我不需要洗牌和排序 Im使用hadoop 2.2.0版 谢谢您可以将numreducetask设置为0,这样只需映射数据,而无需进行无序排列和排序。另请参阅谢谢。只是为了帮助其他来邮局的人。通过调用yourJob.setNumReduceTask(0),将reduce任务数设置为零在您的MR作业的主要方法中。实际上,这是否意味着每个作业将只访问本地数据?我正试着回答。

我想知道是否有任何方法可以在作业的映射阶段关闭洗牌/排序?我的工作不需要Reduce阶段,所以我不需要洗牌和排序

Im使用hadoop 2.2.0版


谢谢

您可以将numreducetask设置为0,这样只需映射数据,而无需进行无序排列和排序。

另请参阅谢谢。只是为了帮助其他来邮局的人。通过调用
yourJob.setNumReduceTask(0),将reduce任务数设置为零在您的MR作业的主要方法中。实际上,这是否意味着每个作业将只访问本地数据?我正试着回答。