HBase中的数据摄取

HBase中的数据摄取,hbase,data-ingestion,Hbase,Data Ingestion,我正在一个大数据平台上工作,需要将数据摄取到HBase 有两种情况: 每个周末,我们从一些缓存中读取数据,通过REST公开,然后转储到HBase中 每天都有一个Java进程在特定时间运行,从消息传递主题中提取数据,然后需要转储到HBase中 在这两种情况下,在将数据放入HBase之前,我们需要执行增量检测,然后才能查询数据的最新视图。此外,还需要维护历史记录 两种情况下的数据结构保持不变。只是来源不同。我需要提出一个HBase模式。我看到了两种选择: 使用一个表-同时具有数据的历史记录和最新

我正在一个大数据平台上工作,需要将数据摄取到HBase

有两种情况:

  • 每个周末,我们从一些缓存中读取数据,通过REST公开,然后转储到HBase中

  • 每天都有一个Java进程在特定时间运行,从消息传递主题中提取数据,然后需要转储到HBase中

  • 在这两种情况下,在将数据放入HBase之前,我们需要执行增量检测,然后才能查询数据的最新视图。此外,还需要维护历史记录

    两种情况下的数据结构保持不变。只是来源不同。我需要提出一个HBase模式。我看到了两种选择:

  • 使用一个表-同时具有数据的历史记录和最新视图
  • 使用多个表-一个表具有最新的数据视图,另一个表具有历史记录
  • 我是HBase新手,所以不确定哪种方法最好。我能试试什么