Mapreduce 多个MapR表中的批量加载

Mapreduce 多个MapR表中的批量加载,mapreduce,hbase,bulk-load,mapr,Mapreduce,Hbase,Bulk Load,Mapr,我有一个MapReduce作业,它将在MapR表中一次执行一个大容量加载。如果我必须加载另一个Mapr DB表,那么我必须为批量加载编写另一个作业。有没有办法在单个map reduce作业中进行批量加载 提前感谢。您需要使用一个map reduce批量加载到两个表中吗?这些map reduce作业的来源是什么我们有一个从Hive读取数据的作业,它会将数据推送到hbase中。数据应根据不同hbase表中的特定逻辑进行划分。即,某些hfile列表应加载到htable1中,另一组应加载到htable2

我有一个MapReduce作业,它将在MapR表中一次执行一个大容量加载。如果我必须加载另一个Mapr DB表,那么我必须为批量加载编写另一个作业。有没有办法在单个map reduce作业中进行批量加载


提前感谢。

您需要使用一个map reduce批量加载到两个表中吗?这些map reduce作业的来源是什么我们有一个从Hive读取数据的作业,它会将数据推送到hbase中。数据应根据不同hbase表中的特定逻辑进行划分。即,某些hfile列表应加载到htable1中,另一组应加载到htable2中。批量加载从HFiles开始。那么你的意思是说你正在根据你的情况创建单独的HFiles?这就是我想要做的。假设我正在mapper中读取一个简单的文本文件,并在特定条件下分割数据。根据这些条件,第一部分应进入表1,另一部分应进入表2。我不想为不同的表运行同一段代码。在单个作业中,我应该能够加载两个表。我能看到的最接近的是,在reducer中使用多输出功能,并将HFiles写入这些输出。一旦输出就绪,就可以使用LoadIncrementalHFiles loadFfiles=new LoadIncrementalHFiles配置;HTable HTable=新的HTableconfiguration,yourtable;loadFfiles.doBulkLoadnew PathoutputPath1,hTable;