Java Hadoop 2.6-范围分区器
我正在研究一个Java Hadoop 2.6-范围分区器,java,hadoop,Java,Hadoop,我正在研究一个算法的实现:LIBRA以减轻数据倾斜,并使用了一个名为rangepartition的分区逻辑 现在,我对此进行了研究,发现Hadoop确实带有这个范围划分函数,但对于1.4.1版来说,这是一个链接: http://accumulo.apache.org/1.4/apidocs/org/apache/accumulo/core/client/mapreduce/lib/partition/RangePartitioner.html 我用来实现这个算法的Hadoop版本是2.6。此版
算法的实现:LIBRA以减轻数据倾斜,并使用了一个名为rangepartition的分区逻辑
现在,我对此进行了研究,发现Hadoop确实带有这个范围划分函数,但对于1.4.1版来说,这是一个链接:
http://accumulo.apache.org/1.4/apidocs/org/apache/accumulo/core/client/mapreduce/lib/partition/RangePartitioner.html
我用来实现这个算法的Hadoop版本是2.6。此版本的hadoop是否提供范围分区器
感谢您的帮助您提供的链接是针对Apache Accumulo的,它是一个构建在hadoop之上的关键/价值数据存储—但它不是hadoop本身的固有特性
可用于2.6的分区器包括
- 二进制分割器
- 散列分割器
- 基于键盘的分区器
- TotalOrderPartitioner
所以2.6没有RangePartitioner