Hbase 区分卡夫卡中已读和未读的信息

Hbase 区分卡夫卡中已读和未读的信息,hbase,apache-zookeeper,apache-storm,apache-kafka,Hbase,Apache Zookeeper,Apache Storm,Apache Kafka,我们能找到什么办法吗 尚未使用消息的偏移量或时间戳 已使用的最后一个时间戳 或者使用storm区分卡夫卡中已读和未读的信息 现在定义从何处开始读取数据。卡夫卡包括两个常数 为了提供帮助,kafka.api.OffsetRequest.EarliestTime()查找 日志中的数据并从那里开始流式传输, kafka.api.OffsetRequest.LatestTime()将仅流式传输新消息。 不要假设偏移量0是起始偏移量,因为消息会过时 随着时间的推移,日志中的数据将丢失 该文档详细说明了

我们能找到什么办法吗

  • 尚未使用消息的偏移量或时间戳

  • 已使用的最后一个时间戳

或者使用storm区分卡夫卡中已读和未读的信息

现在定义从何处开始读取数据。卡夫卡包括两个常数 为了提供帮助,kafka.api.OffsetRequest.EarliestTime()查找 日志中的数据并从那里开始流式传输, kafka.api.OffsetRequest.LatestTime()将仅流式传输新消息。 不要假设偏移量0是起始偏移量,因为消息会过时 随着时间的推移,日志中的数据将丢失

该文档详细说明了使用简单消费者API进行的抵销处理。你也许应该找到你要找的东西


如果您在处理消息偏移量时遇到问题,请尝试共享一些代码片段。这有助于更好地理解问题。或者,如果你只是好奇地想知道这个概念,那么你可能应该先浏览一下和这一页

尝试添加更多细节,例如,卡夫卡的哪个版本(当前版本和以前版本之间在处理*使用消息方面有很多变化),使用什么API。写下您当前正在尝试的一些代码。这有助于其他人更快地解决问题。