Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop 是否可以将还原器配置为与本地HBase区域相对应?_Hadoop_Mapreduce_Hbase - Fatal编程技术网

Hadoop 是否可以将还原器配置为与本地HBase区域相对应?

Hadoop 是否可以将还原器配置为与本地HBase区域相对应?,hadoop,mapreduce,hbase,Hadoop,Mapreduce,Hbase,我正在尝试使用减缩器将数据加载到HBase。我正在使用TableMapReduceUtil.initTableReducerJob方法来配置作业,并将HRegionPartitioner类作为分区器传递。但是减法器是这样创建的,不考虑数据的局部性。是否可以将作业配置为每个缩减器对应于其运行所在机器的本地HBase区域数?如果我读得正确,您希望缩减器在HBase区域所在的节点上运行?只是一个疑问,因为所有的记录都是先到沃尔玛的,这真的很重要吗?你不是经常和大师互动吗?是的,这就是我的意思。我没有意

我正在尝试使用减缩器将数据加载到HBase。我正在使用TableMapReduceUtil.initTableReducerJob方法来配置作业,并将HRegionPartitioner类作为分区器传递。但是减法器是这样创建的,不考虑数据的局部性。是否可以将作业配置为每个缩减器对应于其运行所在机器的本地HBase区域数?

如果我读得正确,您希望缩减器在HBase区域所在的节点上运行?只是一个疑问,因为所有的记录都是先到沃尔玛的,这真的很重要吗?你不是经常和大师互动吗?是的,这就是我的意思。我没有意识到WAL位于HDFS中,而不是本地文件系统中。那么,您是否认为在使用HBase时,位置绝对没有什么区别?是的,我认为情况就是这样。当然,还有另一个场景:HBase批量加载。在批量加载中,我们创建HFiles,然后加载它们。在这种情况下,您可以控制HFiles的位置。批量加载不会通过WAL。我知道bulkload,但据我所知,只有在加载的数据量较大时才建议使用bulkload,否则许多小批量加载会造成regionserver资源的浪费。是的,批量加载只建议用于大数据量。