Apache kafka 卡夫卡流与消费群体的怪异行为

我有两个高级问题被分解成更多的单独问题，这两个高级问题都涉及一个ApacheKafka Streams API正在创建和使用的消费群体

首先，是来自

kafka consumer group.sh

脚本的输出。我得到了奇怪的输出，它并没有真正告诉我某个特定的消费者在哪里，尽管他们似乎连接到了某个特定的组/主题/分区：

TOPIC    PARTITION    CURRENT-OFFSET    LOG-END-OFFSET    LAG
STANDARD_DATA                  9          11              11              0          myConsumer-7fc71848-465b-4817-93b3-42b9ba290dcd-StreamThread-1-consumer-4fd9dc15-d8a7-4598-85a9-3761ae6a747b/1.1.1.1                 myConsumer-7fc71848-465b-4817-93b3-42b9ba290dcd-StreamThread-1-consumer
STANDARD_DATA                  0          4               11              7          myConsumer-13b61e5a-6289-45db-844b-3ef8c5a26782-StreamThread-5-consumer-28e1c7bf-860d-44d6-bf58-5e0ff875587c/1.1.1.1                 myConsumer-13b61e5a-6289-45db-844b-3ef8c5a26782-StreamThread-5-consumer
STANDARD_DATA                  4          -               10              -          myConsumer-7fc71848-465b-4817-93b3-42b9ba290dcd-StreamThread-4-consumer-a3023af6-eafb-4633-85f1-048c20c4dfb3/1.1.1.1                 myConsumer-7fc71848-465b-4817-93b3-42b9ba290dcd-StreamThread-4-consumer
STANDARD_DATA                  5          -               10              -          myConsumer-7fc71848-465b-4817-93b3-42b9ba290dcd-StreamThread-3-consumer-a81f1399-1fc4-4579-b24f-fa8fee01fabf/1.1.1.1                 myConsumer-7fc71848-465b-4817-93b3-42b9ba290dcd-StreamThread-3-consumer
STANDARD_DATA                  3          -               12              -          myConsumer-13b61e5a-6289-45db-844b-3ef8c5a26782-StreamThread-2-consumer-6a83bfcc-2c6e-4e9d-a819-029ac8c6ae17/1.1.1.1                 myConsumer-13b61e5a-6289-45db-844b-3ef8c5a26782-StreamThread-2-consumer
STANDARD_DATA                  8          12              12              0          myConsumer-13b61e5a-6289-45db-844b-3ef8c5a26782-StreamThread-4-consumer-6d46bed3-70c4-4c7f-8e53-f9591192bc3f/1.1.1.1                 myConsumer-13b61e5a-6289-45db-844b-3ef8c5a26782-StreamThread-4-consumer
STANDARD_DATA                  7          -               11              -          myConsumer-13b61e5a-6289-45db-844b-3ef8c5a26782-StreamThread-3-consumer-5313315b-ded9-4fe7-ac9d-d8d5b20dd5b9/1.1.1.1                 myConsumer-13b61e5a-6289-45db-844b-3ef8c5a26782-StreamThread-3-consumer
STANDARD_DATA                  2          10              10              0          myConsumer-b9402faf-4b37-479f-82be-a17eaa180c62-StreamThread-1-consumer-c08a648f-548e-47a8-8bc5-7b6fa3bc1fb5/1.1.1.1                  myConsumer-b9402faf-4b37-479f-82be-a17eaa180c62-StreamThread-1-consumer
STANDARD_DATA                  1          2               10              8          myConsumer-7fc71848-465b-4817-93b3-42b9ba290dcd-StreamThread-2-consumer-08d99679-d430-4e9f-a3b9-11e558ca34a4/1.1.1.1                 myConsumer-7fc71848-465b-4817-93b3-42b9ba290dcd-StreamThread-2-consumer
STANDARD_DATA                  6          -               12              -          myConsumer-7fc71848-465b-4817-93b3-42b9ba290dcd-StreamThread-5-consumer-666040f8-d4d0-49e9-9db6-c6efee49ebe1/1.1.1.1                 myConsumer-7fc71848-465b-4817-93b3-42b9ba290dcd-StreamThread-5-consumer

当我可以直接查询卡夫卡的API以区分它们实际上被赶上时，为什么一些当前偏移量（第3列）和滞后量（第4列）显示为“-”

（通过golang API查询）

另外，为什么在一般情况下，该偏移量不会显示在日志中（也就是说，它应该被捕获）

---

我的第二个高层次问题是溪流问题。我们有一个流进程，即在随机时间（主要是在重启期间）重置为特定主题中可用的最早偏移量。在整个代码中没有“重置”，也没有触及偏移量重置。我还可以确认我们没有使用“精确一次”，因此我不确定这些偏移重置在哪里起作用

再一次，它基本上是：

---

流处理在数据中翻滚，发生了一些事情，然后我们的偏移量回到地面0，再次处理。在决定重置之前，这种情况可能会持续数天到数周，因此正在提交偏移量。

关于

卡夫卡消费群体的输出。sh

：CURRENT-OFFSET中的

-

表示此分区没有提交的偏移量。这意味着，也无法计算滞后（因此，在那里也会得到一个

-

）

如果我读对了你的陈述，如果你用golang查询偏移量，它显示分区4位于偏移量10，这与

kafka consumer groups.sh

showns形成对比--不确定为什么会这样

关于重置的偏移量：您可能需要增加代理配置

offsets.retention.minutes

——默认值为24小时（cf.）

---

还请注意，Streams API使用默认重置策略“最早”（与使用“最新”作为默认值的使用者API相反）。您可以通过

StreamsConfig

：

更改Streams API中有关

kafka消费群体输出的重置策略。sh

：CURRENT-OFFSET中的

-

表示此分区没有提交的偏移量。这意味着，也无法计算滞后（因此，在那里也会得到一个

-

）

如果我读对了你的陈述，如果你用golang查询偏移量，它显示分区4位于偏移量10，这与

kafka consumer groups.sh

showns形成对比--不确定为什么会这样

关于重置的偏移量：您可能需要增加代理配置

offsets.retention.minutes

——默认值为24小时（cf.）

---

还请注意，Streams API使用默认重置策略“最早”（与使用“最新”作为默认值的使用者API相反）。您可以通过

StreamsConfig

：

更改Streams API中的重置策略，这非常有意义。我将调整这些设置，看看是否能解决问题。关于offset.retention.minutes，是否有典型的最佳实践？我们的应用程序有一段空闲时间，因此对于重置策略的修复，我不确定我们是否真的需要提高它。想法？抱歉-问题：如果消费者坐在那里收听消费者组主题，并且在offset.retention.minutes时间段之后才收到任何消息，那么一旦收到新消息，是否仍会重置消费者？例如，如果偏移量在55处停留30小时，然后数字56出现…如果消费者是消费者组的一部分，它是否会重新连接并在偏移量57处自动消费（因为它重置为最新偏移量？），如果使用auto.offset.reset=latest松开偏移量，理论上可能会发生这种情况，跳过一些记录而不处理它们。因此，即使使用“最新”，也建议增加偏移保留时间。这就是我所想的Matthias J.Sax。我只是想澄清一下，以确保我并不是在试图改变我的想法（）。这绝对有道理。我将调整这些设置，看看是否能解决问题。关于offset.retention.minutes，是否有典型的最佳实践？我们的应用程序有一段空闲时间，因此对于重置策略的修复，我不确定我们是否真的需要提高它。想法？抱歉-问题：如果消费者坐在那里收听消费者组主题，并且在offset.retention.minutes时间段之后才收到任何消息，那么一旦收到新消息，是否仍会重置消费者？例如，如果偏移量在55处停留30小时，然后数字56出现…如果消费者是消费者组的一部分，它是否会重新连接并在偏移量57处自动消费（因为它重置为最新偏移量？），如果使用auto.offset.reset=latest松开偏移量，理论上可能会发生这种情况，跳过一些记录而不处理它们。因此，即使使用“最新”，也建议增加偏移保留时间。这就是我所想的Matthias J.Sax。我只是想澄清一下，以确保我不是在试图改变我的想法。

4                      myConsumer-7fc71848-465b-4817-93b3-42b9ba290dcd-StreamThread-4-consumer-a3023af6-eafb-4633-85f1-048c20c4dfb3    OFFSET: 10        LOG-END: 10                LAG: 0