Apache kafka 具有多个分区的卡夫卡主题中的重复偏移量

我正在使用卡夫卡2.10-0.10.0.1和zookeeper-3.4.10。我知道有很多类型的偏移。我有两个问题： -我想知道ConsumerRecord.offset返回的偏移量的类型。 -如果我使用一个由10个分区创建的主题，我可以获得一组具有相同偏移量值的记录吗？在我的程序中，我需要获得具有不同偏移量值的记录列表。我想知道我是否必须使用一个带有单个分区的主题来实现这个目标

我想知道ConsumerRecord.offset返回的偏移量的类型

这是记录所在的主题分区内记录的偏移量

如果我使用一个由10个分区创建的主题，我可以获得一组具有相同偏移量值的记录吗

是的，您可以在每个分区中查找该偏移量并读取该值。为此，请将要使用的主题分区分配给消费者，然后使用Consumerseek查看要读取的偏移量。当您进行投票时，消费者将从该偏移量开始读取

我想知道我是否必须使用一个带有单个分区的主题来实现这个目标

---

你不必这么做。您可以从任何分区读取所需的任何偏移量。

多种类型的偏移量？你是什么意思？我读到Zookeeper中存储了偏移量，而Kafka broker中存储了其他偏移量……如果你使用的客户端不是0.10之前版本的Kafka，它应该将其偏移量存储在Kafka中。看见无论如何，您的客户机应该将其偏移量存储在ZK或Kafka中。如果两者都是，那就糟糕了。实际上有三种类型的偏移。请看，我的第二个问题你有答案吗？我不想获得重复的偏移量，这就是为什么我认为使用带有单个分区的主题作为解决方案。每个分区都有偏移量0。。。无穷因此，在每个分区中都有偏移量123。它们不是重复的，因为它实际上是分区0的偏移量0-123，分区1-123，等等。我重新表述了我的问题：每个分区的偏移量是从零开始还是继续上一个分区的偏移量。是的，每个分区都从0开始。分区应该被认为是并行的。没有以前或以后的分区。哦，我只是理解了你原来问题的措辞。很抱歉给你带来了困惑。是的，每个分区都有自己从0开始的偏移量，但它们不是重复的。