Hadoop 如何处理reducer中的数据倾斜?

Hadoop 如何处理reducer中的数据倾斜?,hadoop,mapreduce,skew,bigdata,Hadoop,Mapreduce,Skew,Bigdata,我有一个简单的mapreduce工作,其中对于一些键,值的数量是数百万。因此,减速机无法完成。我已经浏览了此链接,但无法了解是否有适用于此类场景的最佳实践。有人能在mapreduce作业中建议处理此类情况的最佳方法吗?您的操作是否具有关联性?如果是这样,您可以使用组合器。

我有一个简单的mapreduce工作,其中对于一些键,值的数量是数百万。因此,减速机无法完成。我已经浏览了此链接,但无法了解是否有适用于此类场景的最佳实践。有人能在mapreduce作业中建议处理此类情况的最佳方法吗?

您的操作是否具有关联性?如果是这样,您可以使用组合器。