Hbase 在使用Apache storm时是否必须使用Apache Kafka?

Hbase 在使用Apache storm时是否必须使用Apache Kafka?,hbase,apache-kafka,apache-storm,Hbase,Apache Kafka,Apache Storm,我想在我的项目中实现实时消息处理的Storm。我观察到许多人使用“阿帕奇卡夫卡”和“风暴” 在我的项目中,客户端应用程序将向服务器端发送消息,服务器端应该对消息进行身份验证、处理并存储到HBase中。唯一的限制是消息不应该被丢弃,每一条消息都必须被持久化到HBase中,若处理该消息需要几分钟的时间,那个就没问题了 我想知道 卡夫卡和暴风雪一起使用是强制性的吗 在Storm中使用卡夫卡有什么好处 如果我不在《暴风雨》中使用卡夫卡会发生什么 请你告诉我卡夫卡的用法 没有必要将卡夫卡与暴风雪一起使用。

我想在我的项目中实现实时消息处理的Storm。我观察到许多人使用“阿帕奇卡夫卡”和“风暴”

在我的项目中,客户端应用程序将向服务器端发送消息,服务器端应该对消息进行身份验证、处理并存储到HBase中。唯一的限制是消息不应该被丢弃,每一条消息都必须被持久化到HBase中,若处理该消息需要几分钟的时间,那个就没问题了

我想知道

  • 卡夫卡和暴风雪一起使用是强制性的吗
  • 在Storm中使用卡夫卡有什么好处
  • 如果我不在《暴风雨》中使用卡夫卡会发生什么
  • 请你告诉我卡夫卡的用法

  • 没有必要将卡夫卡与暴风雪一起使用。这两个系统相互独立
  • Kafka是一个可靠的消息队列,因此,它有助于Storm拓扑提供容错性(即,它简化了所谓可靠喷口的实现)
  • 请参阅(2)->即,如果您想获得容错保证,您需要自己注意喷口的可靠性
  • 如果您想在将传入消息持久化到HBase之前在Storm中处理和验证它们,我建议您使用Kafka。卡夫卡将充当一个缓冲区,每个传入的消息都被可靠地存储在其中。暴风雪可以消耗卡夫卡的信息。如果消息在暴风雨中丢失,则可以从卡夫卡重新读取该消息。将消息持久化到HBase后,Kafka可以删除该消息

  • 没有必要将卡夫卡与暴风雪一起使用。这两个系统相互独立
  • Kafka是一个可靠的消息队列,因此,它有助于Storm拓扑提供容错性(即,它简化了所谓可靠喷口的实现)
  • 请参阅(2)->即,如果您想获得容错保证,您需要自己注意喷口的可靠性

  • 如果您想在将传入消息持久化到HBase之前在Storm中处理和验证它们,我建议您使用Kafka。卡夫卡将充当一个缓冲区,每个传入的消息都被可靠地存储在其中。暴风雪可以消耗卡夫卡的信息。如果消息在暴风雨中丢失,则可以从卡夫卡重新读取该消息。将消息持久保存到HBase后,卡夫卡可以删除该消息。

    awesome…非常感谢您提供清晰详细的答案。awesome…非常感谢您提供清晰详细的答案。