Apache kafka 从KakfaIO的给定偏移量开始

Apache kafka 从KakfaIO的给定偏移量开始,apache-kafka,apache-beam,Apache Kafka,Apache Beam,我使用的是KafkaIO.read(),我想从一个特定的偏移量开始消费 在某些情况下,曾经有一个KafkaIO.read()。使用startfromcheckpointmark()方法来实现这一点 我从中看到,有一种途径: 由runner提供的KafkaCheckpointMark 我该怎么做 谢谢没有直接支持,但有两种选择: withstartedtime()可能更合适 您可以创建一个组.id并提交该组中的偏移量。在KafkaConsumer配置中设置group.id时,KafkaIO默认从

我使用的是
KafkaIO.read()
,我想从一个特定的偏移量开始消费

在某些情况下,曾经有一个
KafkaIO.read()。使用startfromcheckpointmark()
方法来实现这一点

我从中看到,有一种途径:

由runner提供的KafkaCheckpointMark

我该怎么做


谢谢

没有直接支持,但有两种选择:

  • withstartedtime()
    可能更合适
  • 您可以创建一个
    组.id
    并提交该组中的偏移量。在KafkaConsumer配置中设置
    group.id
    时,KafkaIO默认从为组提交的偏移恢复。您还可以选择在KafkaConsumer中启用
    auto.commit
    。请参阅JavaDoc中的“高级卡夫卡配置”