hbase上的Mapreduce
我正在执行一个map reduce作业，该作业正在处理一个hbase表中的30行（map_INPUT_RECORDS=30）。该表有11000个区域，但根据我们的区域拆分策略，任何时候都只有一条记录位于单个区域中（即单个记录不会位于2个或更多区域中）。在这里，我在日志中得到了更多的映射者65个（TOTAL_LAUNCHED_MAPS=65）。根据hbase文档，将为每个区域分配一名映射者。但就我而言，地图绘制者的数量超过了该地区。提出一些解决方案。提前感谢。您有11000个区域（表格区域），因此最多可以有11000个映射器 是否将表区域与Hbase的区域服务器混淆。一个Hbase可以有10个区域服务器，而承载在Hbase上的表可以有1000个区域。每个区域服务器承载100个区域 TableInputFormat基于表的区域而不是Hbase区域服务器生成映射器 为了更好地理解，请遵循hbase上的Mapreduce,mapreduce,hbase,Mapreduce,Hbase,我正在执行一个map reduce作业，该作业正在处理一个hbase表中的30行（map_INPUT_RECORDS=30）。该表有11000个区域，但根据我们的区域拆分策略，任何时候都只有一条记录位于单个区域中（即单个记录不会位于2个或更多区域中）。在这里，我在日志中得到了更多的映射者65个（TOTAL_LAUNCHED_MAPS=65）。根据hbase文档，将为每个区域分配一名映射者。但就我而言，地图绘制者的数量超过了该地区。提出一些解决方案。提前感谢。您有11000个区域（表格区域），因此