从mysql到Hbase的连续数据迁移

我安装了hadoop和hbase用于实时分析。我面临的问题是在线将数据从mysql迁移到Hbase

sqoop工具对于批量数据迁移非常有用，有没有任何方法可以将mysql中的数据在线传输到HBase（然后在插入/更新/删除时）。这样就可以实现实时分析。不是近实时的

---

请在这方面帮助我

我认为您面临着在不同DBMS之间设置复制的任务。在这种情况下，本机复制机制没有用处。 最简单的解决方案是在要复制的表上创建一组触发器，并将要复制的数据写入其他表中。然后，您可以设置监视此表并将更改应用于HBase
更健壮但更复杂的解决方案是分析用于本机复制机制的MySQL日志，并将更改应用于HBase
同时，我也不清楚hoe HBase是否能为您提供实时分析。我在这里写了一篇关于这个问题的文章：

---

要添加有关在项目中的何处使用Hive的更多信息，可以通过多种设置将Hive和HBase集成在一起工作。例如，如果您使用AWS，您可以在同一hadoop集群上安装HBase/Hive，以便在Hive表和HBase表上同时运行联接查询。或者，您可以将HBase和配置单元分为两个不同的集群，并从配置单元查询中引用HBase数据。如果您使用Cloudera发行版，您也可以做同样的事情

参考：

---

感谢David分享您的想法。实际上，我的任务是拿出haddop和hbase进行分析。如上所述，使用MySQL日志是一个好主意。我的成绩是1比1。将数据从MySQL迁移到HBase。2.我在HBase中为每个分析报告提供了一个数据模型。3.我假设使用MR jobs，我可以使用上面迁移的数据填充此报告表。我不太确定在哪里使用蜂箱，或者我走对了方向。请分享你的想法。我会考虑将数据移植到蜂箱中，并使用HQL（SQL类似语言）完成所有的聚合/报告。然后报告结果（尤其是大小适中的报告结果）可以迁移回MySQL。你不会在几秒钟甚至几分钟内达到实时。但它将是一个简单且非常可扩展的解决方案<我仍然不确定HBase是如何出现在这张图片中的<谢谢你，大卫。HBase的出现是因为我们预计在不久的将来会有大量数据。将有数千家餐厅进行整合，因此交易数据量将很大。将根据交易数据生成分析报告。请分享您的想法。请估计您期望的每秒请求数