Apache kafka FlinkKafkaConsumer08偏移控制

Apache kafka FlinkKafkaConsumer08偏移控制,apache-kafka,apache-flink,Apache Kafka,Apache Flink,我想用FlinkKafkaConsumer08来阅读卡夫卡主题。这些消息是事件源方面的命令。我想从头开始,而不是阅读主题中已有的信息。 我想有一种方法可以告诉FlinkKafkaConsumer08从头开始。 怎么做 编辑 我尝试将“auto.offset.reset”属性设置为“maximum”,但没有结果。我也尝试过启用checkpoing 我已尝试将“auto.commit.interval.ms”设置为1000。然后,至少以前处理过的消息不会再次处理。这是一个很大的改进,因为至少命令不会

我想用FlinkKafkaConsumer08来阅读卡夫卡主题。这些消息是事件源方面的命令。我想从头开始,而不是阅读主题中已有的信息。 我想有一种方法可以告诉FlinkKafkaConsumer08从头开始。 怎么做

编辑 我尝试将“auto.offset.reset”属性设置为“maximum”,但没有结果。我也尝试过启用checkpoing


我已尝试将“auto.commit.interval.ms”设置为1000。然后,至少以前处理过的消息不会再次处理。这是一个很大的改进,因为至少命令不会执行两次,但是丢弃旧的命令消息要好得多。我将采用的解决方案是根据日期丢弃旧消息,并返回错误。

只有当Kafka在Kafka/ZooKeeper中找不到当前消费群体的提交偏移量时,才会使用
auto.offset.reset
属性。因此,如果您正在重用消费者组,则此属性很可能不受尊重。但是,在新的使用者组中启动Kafka使用者应该可以做到这一点。

只有当Kafka在当前使用者组的Kafka/ZooKeeper中找不到提交的偏移量时,才使用
auto.offset.reset
属性。因此,如果您正在重用消费者组,则此属性很可能不受尊重。不过,在一个新的消费群体中启动卡夫卡消费者应该可以做到这一点。

谢谢您的建议!当然它对其他人有用。每次使用新的kafka group.id开始都不符合我的需要。为了让命令只执行一次,我使用group.id将其他应用程序从读取命令中排除。感谢您的建议!当然它对其他人有用。每次使用新的kafka group.id开始都不符合我的需要。为了让命令只执行一次,我使用group.id将其他应用程序从读取命令中排除。