Apache spark 如何读取apache kafka中最古老的记录

我使用sparkstreaming来消费卡夫卡，想想如果消费者方面发生了一些崩溃或类似事件。我不担心重复记录，但我不能错过任何一张记录。 如果我重新启动我的消费者，我将无法继续从我离开的地方。我想通过检查点我可以做到？？我不知道。

---

但在最坏的情况下，我想检查是否可以从卡夫卡主题中最旧的记录运行我的消费者。

您可以使用我指定的消费者组重置卡夫卡中的偏移量。它应该从一开始就自动使用消息。下面的命令可能会帮助您

kafka-consumer-groups.bat --bootstrap-server kafka-host:9092 --group my-group --reset-offsets --to-earliest --all-topics --execute

编辑1：如果只想重置特定主题的偏移量，可以将

--所有主题

替换为

--主题

---

编辑2：不要忘记。

auto.offset.reset

consumer config应设置为

earlime

您可以使用消费者组I'd重置卡夫卡中的偏移量。它应该从一开始就自动使用消息。下面的命令可能会帮助您

kafka-consumer-groups.bat --bootstrap-server kafka-host:9092 --group my-group --reset-offsets --to-earliest --all-topics --execute

编辑1：如果只想重置特定主题的偏移量，可以将

--所有主题

替换为

--主题

---

编辑2：不要忘记。

auto.offset.reset

consumer config应设置为

earlime

我不建议执行

--所有主题

您也可以通过将--所有主题替换为--主题来重置特定主题的偏移量--我不建议执行

--所有主题

您还可以通过替换--所有主题来重置特定主题的偏移量如果它崩溃了，我认为它不应该将消耗的偏移量提交回卡夫卡如果它崩溃了，我认为它不应该将消耗的偏移量提交回卡夫卡