Hbase 使用Kafka、Storm&;糖化血红蛋白

Hbase 使用Kafka、Storm&;糖化血红蛋白,hbase,apache-kafka,apache-storm,Hbase,Apache Kafka,Apache Storm,为我的无知道歉 我们正在建立一个实时数据库,根据会员在网站上的活动捕获记录。发出这些信息的应用程序是IBM MQ。我们计划设置ApacheKafka来使用来自IBM MQ的这些消息,并将其存储在HBase中进行分析。Kafka是否可以将这些信息直接写入HBase,或者我们应该在Kafka和HBase之间设置一个实时流引擎,如ApacheStorm?这就是卡夫卡-->风暴-->HBase 感谢您的宝贵反馈 我认为您不需要使用Kafka和Storm将数据写入HBase。据我所知,您可以将数据直接从I

为我的无知道歉

我们正在建立一个实时数据库,根据会员在网站上的活动捕获记录。发出这些信息的应用程序是IBM MQ。我们计划设置ApacheKafka来使用来自IBM MQ的这些消息,并将其存储在HBase中进行分析。Kafka是否可以将这些信息直接写入HBase,或者我们应该在Kafka和HBase之间设置一个实时流引擎,如ApacheStorm?这就是卡夫卡-->风暴-->HBase


感谢您的宝贵反馈

我认为您不需要使用Kafka和Storm将数据写入HBase。据我所知,您可以将数据直接从IBM MQ使用者写入HBase。
HBase具有java api。它也有节俭。因此,Python、Ruby等其他语言也可以与HBase对话。

Kafka只是一个用于实时活动的发布-订阅消息传递系统。所以它只是接收和发送。主要特点是实时消息传递、容错和大规模数据处理

要执行实际处理,您必须依赖Storm。在Strom的一端,您获取kafka输出,在另一端,您可以进行数据处理并将数据发送到hdfs或hbase。由你决定。拓扑(storm jargom)永远运行,这是与批处理不同的实时性主要要求之一