Hadoop 配置单元到HFile创建问题：MapR

我一直在做一项小任务，将配置单元数据转换并加载到HBase中的HFiles；框架映射器。使用bulkload，我在HFiles中加载转换后的数据。转换没有任何问题，转换进展顺利。我面临的唯一问题是，当蜂窝数据的大小增加时，MR工作失败。由于虚拟内存已满，作业失败。如果配置单元数据大小限制超过10gig，作业将中断

所有数据都移动到单个区域服务器中，而不是分布在多个区域服务器上；我正在研究一个10节点的集群。似乎存在hbase热点

我尝试过在多个numregions=>256中分割区域，并在区域之间平均分配负载SPLITALGO=>UniformSplit。但这并不能解决问题。 有人知道如何解决这个热点问题吗

问候,，

---

Adil

我也有类似的要求，我也会尽力调查您的问题。你可以发布任何有用的链接，你已经为上述实施使用。提前感谢您没有任何特定的链接，简单的java例程。配置单元和HBase仅在需要时用于表的创建、插入和删除；其他每项任务都只能通过java例程来完成。