HBase大容量数据恢复

HBase大容量数据恢复,hbase,data-recovery,wal,Hbase,Data Recovery,Wal,由于Bulkload方法完全绕过写入路径,所以WAL不会被写入 作为流程的一部分,因此在发生以下情况时如何恢复批量加载的数据: 区域服务器故障/崩溃?HBase将数据存储在HFiles中,HFiles是不可变的,并放置在HDFS中,HDFS已经是可靠的存储。通常,此类文件的最小大小约为128mb。在创建HFile之前,HBase会在内存中积累所需的数据量,以实现此过程中的持久性,HBase使用WAL。在这种情况下,在大容量加载中,您不需要WAL,因为大容量加载操作直接创建HFiles,并在通知H

由于Bulkload方法完全绕过写入路径,所以WAL不会被写入 作为流程的一部分,因此在发生以下情况时如何恢复批量加载的数据:
区域服务器故障/崩溃?

HBase将数据存储在HFiles中,HFiles是不可变的,并放置在HDFS中,HDFS已经是可靠的存储。通常,此类文件的最小大小约为128mb。在创建HFile之前,HBase会在内存中积累所需的数据量,以实现此过程中的持久性,HBase使用WAL。在这种情况下,在大容量加载中,您不需要WAL,因为大容量加载操作直接创建HFiles,并在通知HBase将其用作数据存储的一部分时创建HFiles

是的。。在Bulkload中,由于它创建了HFiles,所以不存在数据丢失的可能性,并且完全跳过了“刷新MemStore并写入新的HFiles”步骤。知道了。谢谢亚历山大!!:)