Join 歪斜联接不能处理不均匀数据意味着什么?

Join 歪斜联接不能处理不均匀数据意味着什么?,join,hadoop,apache-pig,Join,Hadoop,Apache Pig,从清管器的倾斜连接: 歪斜联接不能解决(平衡)跨多个应用程序的不均匀数据分布 减速器。但是,在大多数情况下,倾斜联接确保联接 将完成(无论多么慢)而不是失败 有人能解释一下这是什么意思吗?歪斜连接的全部意义不在于实际处理此类歪斜数据并将其正确地分布在减速器上吗?本文档提供了有关它的详细信息:。我同意这句话很奇怪——我对文件的理解和你的一样。可能这是指一个键将被尽可能少的减缩器分割,因此您仍将有一个或几个减缩器处于满负荷状态,而其他减缩器将很快完成。

从清管器的倾斜连接:

歪斜联接不能解决(平衡)跨多个应用程序的不均匀数据分布 减速器。但是,在大多数情况下,倾斜联接确保联接 将完成(无论多么慢)而不是失败


有人能解释一下这是什么意思吗?歪斜连接的全部意义不在于实际处理此类歪斜数据并将其正确地分布在减速器上吗?

本文档提供了有关它的详细信息:。我同意这句话很奇怪——我对文件的理解和你的一样。可能这是指一个键将被尽可能少的减缩器分割,因此您仍将有一个或几个减缩器处于满负荷状态,而其他减缩器将很快完成。