Hadoop 如果在Java MapReduce中使用批量加载API,如何恢复数据?

Hadoop 如果在Java MapReduce中使用批量加载API,如何恢复数据?,hadoop,hbase,Hadoop,Hbase,在生产中,我们使用批量加载API将数据加载到Hbase表中,方法是将两个参数传递给批量加载API(pathToHfile,targetTableName) pathToHfile-->hadoop中Hfiles的位置 targetTableName-->要加载的目标表 当我们使用大容量加载API时,WAL文件不会发生写操作。 但WAL文件用于恢复数据。既然数据没有写入WAL文件,那么在这种情况下,我们将如何恢复数据?WAL用于恢复未写入HFiles的更改(即从崩溃的MemStore)。在批量加载

在生产中,我们使用批量加载API将数据加载到Hbase表中,方法是将两个参数传递给批量加载API(pathToHfile,targetTableName)

pathToHfile-->hadoop中Hfiles的位置
targetTableName-->要加载的目标表

当我们使用大容量加载API时,WAL文件不会发生写操作。
但WAL文件用于恢复数据。既然数据没有写入WAL文件,那么在这种情况下,我们将如何恢复数据?

WAL用于恢复未写入HFiles的更改(即从崩溃的MemStore)。在批量加载中,您将手动创建HFiles并将其移交给HBase。HBase中新文件的实际加载是原子的,因此这里不需要恢复机制