Apache kafka kafka streams应用程序-重新启动时忽略旧消息_Apache Kafka_Apache Kafka Streams

Apache kafka kafka streams应用程序-重新启动时忽略旧消息

apache-kafka

Apache kafka kafka streams应用程序-重新启动时忽略旧消息,apache-kafka,apache-kafka-streams,Apache Kafka,Apache Kafka Streams,我处理实时应用程序的timeseries数据。所以旧数据没有意义。我只想处理流应用程序启动后收到的数据，而不是以前提交的偏移量。重新启动后，忽略卡夫卡流应用程序上的旧记录的正确方法是什么对于kafka consumer API，我通常使用seekToEnd（）方法向前跳到最新记录。流是否有一个等效的机制？我希望避免筛选自上次提交以来的所有消息以忽略旧消息。您可以使用Kafka consumer API创建另一个消费者，该API的groupId与Kafka streams的applicatio

我处理实时应用程序的timeseries数据。所以旧数据没有意义。我只想处理流应用程序启动后收到的数据，而不是以前提交的偏移量。重新启动后，忽略卡夫卡流应用程序上的旧记录的正确方法是什么

对于kafka consumer API，我通常使用

seekToEnd（）

方法向前跳到最新记录。流是否有一个等效的机制？

我希望避免筛选自上次提交以来的所有消息以忽略旧消息。

您可以使用Kafka consumer API创建另一个消费者，该API的

groupId

与Kafka streams的

applicationId

相同，并在启动流之前使用该消费者执行

seekToEnd（）

。禁用此特殊使用者的自动提交，并在

seekToEnd（）

之后手动提交偏移量。然后尝试启动您的流

确保在提交来自重置使用者的偏移量之前，流尚未启动

嘿，斯坦利，你有什么解决办法吗？