Hadoop 批量导入hbase后如何从sqoop获取HFile?
我使用sqoop进行批量hbase导入。我从sqoop使用此选项:Hadoop 批量导入hbase后如何从sqoop获取HFile?,hadoop,hbase,sqoop,Hadoop,Hbase,Sqoop,我使用sqoop进行批量hbase导入。我从sqoop使用此选项:--hbase bulkload。Sqoop将生成HFiles并将HFiles导入我的hbase。我可以验证数据是否存在,并从sqoop日志中尝试从中加载hfile INFO mapreduce.LoadIncrementalHFiles: Trying to load hfile=hdfs://sandbox.hortonworks.com:8020/tmp/sqoop/data/u/2ce542f59b56466d988e49
--hbase bulkload
。Sqoop将生成HFiles并将HFiles导入我的hbase。我可以验证数据是否存在,并从sqoop日志中尝试从中加载hfile
INFO mapreduce.LoadIncrementalHFiles: Trying to load hfile=hdfs://sandbox.hortonworks.com:8020/tmp/sqoop/data/u/2ce542f59b56466d988e49f7a7e512b7 first=\x00\x00\x00\x00\x00\x01\xDE1\xF8 last=\x00\x00\x00\x00\x00\x01\xEB:L
然而,在工作完成之后。我试图查看文件,但它已不在那里了。我正在使用此hadoop命令查看文件:
hadoop fs -ls /tmp/sqoop/data
该文件是否存储在其他地方?或者有一个选项在导入作业后保留它
谢谢我已经使用sqoop本身将数据从oracle导入hbase。导入过程完成后,该文件将存储在hdfs文件系统中
/home/USERNAME/FILENAME(TABLENAME)
我认为您的Hfile也可以使用相同的概念进行存储,因此在检查它之后会更好我检查了它,但它不在那里。好的,那么您检查了整个hdfs文件系统了吗?为此,您可以使用以下链接