Hbase-Hadoop:TableInputFormat扩展

Hbase-Hadoop:TableInputFormat扩展,hadoop,hbase,Hadoop,Hbase,使用hbase表作为我的输入,我已经预处理了其中的键,以便由一个与相应行ID连接的数字组成,我想确保在M/R作业中将从同一映射程序处理所有以相同数字作为其键标题的行。我知道这可以通过扩展TableInputFormat来实现,我也看到过一两篇关于扩展这个类的文章,但我正在寻找最有效的方法来实现这一点 如果有人有任何想法,请告诉我。您可以在扫描中使用PrefixFilter。 并使用Future并行启动不同的映射程序 final Future<Boolean> newJobFutur

使用hbase表作为我的输入,我已经预处理了其中的键,以便由一个与相应行ID连接的数字组成,我想确保在M/R作业中将从同一映射程序处理所有以相同数字作为其键标题的行。我知道这可以通过扩展TableInputFormat来实现,我也看到过一两篇关于扩展这个类的文章,但我正在寻找最有效的方法来实现这一点


如果有人有任何想法,请告诉我。

您可以在扫描中使用PrefixFilter。

并使用Future并行启动不同的映射程序

final Future<Boolean> newJobFuture = executor.submit(new Callable<Boolean>() {
        @Override
        public Boolean call() throws Exception {
            Job mapReduceJob = MyJobBuilder.createJob(args, thePrefix,
                    ...);
            return mapReduceJob.waitForCompletion(true);
        }
    });
final Future newJobFuture=executor.submit(new Callable()){
@凌驾
公共布尔调用()引发异常{
Job mapReduceJob=MyJobBuilder.createJob(args,thePrefix,
...);
返回mapReduceJob.waitForCompletion(true);
}
});
但我相信这更像是一种你正在寻找的减速机