Apache kafka 从KakfaIO的给定偏移量开始
我使用的是Apache kafka 从KakfaIO的给定偏移量开始,apache-kafka,apache-beam,Apache Kafka,Apache Beam,我使用的是KafkaIO.read(),我想从一个特定的偏移量开始消费 在某些情况下,曾经有一个KafkaIO.read()。使用startfromcheckpointmark()方法来实现这一点 我从中看到,有一种途径: 由runner提供的KafkaCheckpointMark 我该怎么做 谢谢没有直接支持,但有两种选择: withstartedtime()可能更合适 您可以创建一个组.id并提交该组中的偏移量。在KafkaConsumer配置中设置group.id时,KafkaIO默认从
KafkaIO.read()
,我想从一个特定的偏移量开始消费
在某些情况下,曾经有一个KafkaIO.read()。使用startfromcheckpointmark()
方法来实现这一点
我从中看到,有一种途径:
由runner提供的KafkaCheckpointMark
我该怎么做
谢谢没有直接支持,但有两种选择:
可能更合适withstartedtime()
- 您可以创建一个
并提交该组中的偏移量。在KafkaConsumer配置中设置组.id
时,KafkaIO默认从为组提交的偏移恢复。您还可以选择在KafkaConsumer中启用group.id
。请参阅JavaDoc中的“高级卡夫卡配置”auto.commit