Mapreduce 在单个作业中批量加载到多个HBase表
我想使用单个mapreduce作业将数据大容量加载到多个表中。由于数据量很大，在数据集中迭代两次并使用多个作业加载会很耗时。有什么方法可以做到这一点吗？提前感谢。我正在使用Hbase。但我还不需要散装货。但是我偶然发现了这篇文章，它可能会对你有所帮助Mapreduce 在单个作业中批量加载到多个HBase表,mapreduce,hbase,Mapreduce,Hbase,我想使用单个mapreduce作业将数据大容量加载到多个表中。由于数据量很大，在数据集中迭代两次并使用多个作业加载会很耗时。有什么方法可以做到这一点吗？提前感谢。我正在使用Hbase。但我还不需要散装货。但是我偶然发现了这篇文章，它可能会对你有所帮助 大容量加载功能使用MapReduce作业以HBase的内部数据格式输出表数据，然后直接将生成的StoreFile加载到正在运行的集群中。与简单使用HBase API相比，使用大容量加载将使用更少的CPU和网络资源 是的，我已经尝试过使用HFile
大容量加载功能使用MapReduce作业以HBase的内部数据格式输出表数据，然后直接将生成的StoreFile加载到正在运行的集群中。与简单使用HBase API相比，使用大容量加载将使用更少的CPU和网络资源 是的，我已经尝试过使用HFileOutFormat进行批量加载。我想知道它是否可以用于在一个作业中将数据加载到多个表中？。比如说使用多重输出之类的？