Node.js 在使用redis时,我们有没有办法将其写入hbase
据我所知,redis只在二进制文件中写入。但我们的软件要求是使用任何兼容的分布式映射(redis)向hbase进行后置写入。在使用redis时,是否有任何方法可以向hbase进行后置写入。无法自定义文件写入的方式。它将写入磁盘,对此您无能为力 相反,您应该做的是使用一个外部计划进程(可能使用cron),定期获取Redis文件,然后将其转储到HBase中 如果此流程适合您的情况和需要,您可以通过以下几种方式自定义此流程,使其更加健壮:Node.js 在使用redis时,我们有没有办法将其写入hbase,node.js,redis,hbase,Node.js,Redis,Hbase,据我所知,redis只在二进制文件中写入。但我们的软件要求是使用任何兼容的分布式映射(redis)向hbase进行后置写入。在使用redis时,是否有任何方法可以向hbase进行后置写入。无法自定义文件写入的方式。它将写入磁盘,对此您无能为力 相反,您应该做的是使用一个外部计划进程(可能使用cron),定期获取Redis文件,然后将其转储到HBase中 如果此流程适合您的情况和需要,您可以通过以下几种方式自定义此流程,使其更加健壮: 在开始摄取过程之前执行,以确保具有最新的转储 在将文件摄取到
- 在开始摄取过程之前执行,以确保具有最新的转储
- 在将文件摄取到HBase之前,对该文件执行
。检查查看md5sum
自上次处理后是否已更改。如果Redis实例中的数据不经常更改,这可能会很有用md5sum
- 改为使用转储。通过这种方式,您可以跟踪您已经摄入到HBase中的内容,然后只更新更改。你只需要记下你上次停在哪一行就行了。如果您不想每次都转储HBase表并重新加载它,那么这将是一个很好的选择