Apache kafka streams KStreams-org.apache.kafka.common.errors.TimeoutException:在成功提交偏移量之前,超过60000ms的超时时间

Apache kafka streams KStreams-org.apache.kafka.common.errors.TimeoutException:在成功提交偏移量之前,超过60000ms的超时时间,apache-kafka-streams,Apache Kafka Streams,在kafka Streams(版本:2.3.1)上,我们面临提交偏移量的问题: org.apache.kafka.common.errors.TimeoutException:在成功提交偏移量之前超时60000ms 这种情况并不经常发生。原因可能是什么 此外,由于TimeoutException是一个可重试的异常,我们计划在出现间歇性错误时增加重试次数 这对我有帮助吗?在我们的用例中,我们至少有一次处理保证和订购事宜 我们希望它不会以任何方式影响偏移量顺序,因为KStreams同步提交偏移量,如

在kafka Streams(版本:2.3.1)上,我们面临提交偏移量的问题:

org.apache.kafka.common.errors.TimeoutException:在成功提交偏移量之前超时60000ms

这种情况并不经常发生。原因可能是什么

此外,由于TimeoutException是一个可重试的异常,我们计划在出现间歇性错误时增加重试次数

这对我有帮助吗?在我们的用例中,我们至少有一次处理保证和订购事宜


我们希望它不会以任何方式影响偏移量顺序,因为KStreams同步提交偏移量,如果一次提交失败并正在重试,特定的流线程将不会处理新记录,偏移量也不会受到干扰。

如果TimeoutException是暂时的,则可能是由于间歇性网络问题或某些代理超载造成的,在这种情况下,增加重试次数可能会有所帮助

但是,就延迟而言,发现超时的根本原因可能更好。为了找到根本原因,你可能需要更深入地研究这些数据。这里有一个博客,可以让你开始


可以通过为瓶颈提供更多资源来解决此问题。

谢谢,此错误是暂时的,监控指标并使用更多资源解决瓶颈是有意义的。但我只是好奇,合流云的托管卡夫卡是否有任何解决方案可以通过收听JMX指标和自动缩放来解决这一问题。合流云托管云应该为您完全抽象代理和自动缩放的概念。遗憾的是,我不知道这方面的很多细节。还有一个功能()目前正在开发中,它可能会帮助您解决问题。它应该在下一个版本2.7中