Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/node.js/41.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/4/webpack/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Node.js 在使用redis时,我们有没有办法将其写入hbase_Node.js_Redis_Hbase - Fatal编程技术网

Node.js 在使用redis时,我们有没有办法将其写入hbase

Node.js 在使用redis时,我们有没有办法将其写入hbase,node.js,redis,hbase,Node.js,Redis,Hbase,据我所知,redis只在二进制文件中写入。但我们的软件要求是使用任何兼容的分布式映射(redis)向hbase进行后置写入。在使用redis时,是否有任何方法可以向hbase进行后置写入。无法自定义文件写入的方式。它将写入磁盘,对此您无能为力 相反,您应该做的是使用一个外部计划进程(可能使用cron),定期获取Redis文件,然后将其转储到HBase中 如果此流程适合您的情况和需要,您可以通过以下几种方式自定义此流程,使其更加健壮: 在开始摄取过程之前执行,以确保具有最新的转储 在将文件摄取到

据我所知,redis只在二进制文件中写入。但我们的软件要求是使用任何兼容的分布式映射(redis)向hbase进行后置写入。在使用redis时,是否有任何方法可以向hbase进行后置写入。

无法自定义文件写入的方式。它将写入磁盘,对此您无能为力

相反,您应该做的是使用一个外部计划进程(可能使用cron),定期获取Redis文件,然后将其转储到HBase中

如果此流程适合您的情况和需要,您可以通过以下几种方式自定义此流程,使其更加健壮:

  • 在开始摄取过程之前执行,以确保具有最新的转储
  • 在将文件摄取到HBase之前,对该文件执行
    md5sum
    。检查查看
    md5sum
    自上次处理后是否已更改。如果Redis实例中的数据不经常更改,这可能会很有用
  • 改为使用转储。通过这种方式,您可以跟踪您已经摄入到HBase中的内容,然后只更新更改。你只需要记下你上次停在哪一行就行了。如果您不想每次都转储HBase表并重新加载它,那么这将是一个很好的选择
@Donald Miner,当你说“获取redis文件,然后将其转储到HBase”时,你的意思是读取redis文件,对其进行解析,然后将其转换为HBase格式,对吗?