Hadoop 为减少任务而传递的密钥列表

Hadoop 为减少任务而传递的密钥列表,hadoop,mapreduce,Hadoop,Mapreduce,有没有办法确定reduce任务处理的密钥数量?事实上,我在作业中设置了7个减速机,但在这些减速机中,6个在第二秒内执行,但最后一个减速机需要几个小时才能完成。看起来钥匙并没有均匀地分布在减速器上。所以想检查单个任务处理了多少个键 我知道有一次一个键被传递给带有迭代值的reducer实例,但对reducer任务还是有点困惑吗 有人能帮忙吗 你能告诉我你从Mapper传递到Reducer的密钥是什么吗。给我们一些输入数据details@aviral:此处的键形成有点复杂。我们在mapper中解析一些

有没有办法确定reduce任务处理的密钥数量?事实上,我在作业中设置了7个减速机,但在这些减速机中,6个在第二秒内执行,但最后一个减速机需要几个小时才能完成。看起来钥匙并没有均匀地分布在减速器上。所以想检查单个任务处理了多少个键

我知道有一次一个键被传递给带有迭代值的reducer实例,但对reducer任务还是有点困惑吗


有人能帮忙吗

你能告诉我你从Mapper传递到Reducer的密钥是什么吗。给我们一些输入数据details@aviral:此处的键形成有点复杂。我们在mapper中解析一些数据并形成键。之后,我们将这些键转换为字节对象,然后再将其发送到reducer。因此,即使我粘贴示例键,它也没有用。这里的问题是,您需要理解输入数据。如果您正在将值解析为byte对象(Hadoop数据类型等效吗?),那么可能您的大多数键都是相同的,并且被解析为相同的byte对象,从而进入相同的reducer。