Apache kafka 卡夫卡:根据延迟自动调整保留

Apache kafka 卡夫卡:根据延迟自动调整保留,apache-kafka,lag,retention,Apache Kafka,Lag,Retention,假设我编写了一个从物联网设备收集数据的应用程序,并让我的客户通过向我提供他们的http端点凭据来订阅这些数据 我必须处理他们的端点没有响应或速度慢的问题,因此我将缓冲消息直到发送(消耗),这将需要存储 为了限制这个存储空间,我想知道我是否可以观察我的消费者的延迟,当它达到阈值时,会自动增加主题租金(稍后会自动减少) 这将帮助我在默认情况下设置较短的保留期,并且能够在不丢失消息的情况下处理不可用的外部端点。(当然,如果滞后持续增长,我将不得不采取其他行动) 那么,我的问题是,卡夫卡能做到这一点吗?

假设我编写了一个从物联网设备收集数据的应用程序,并让我的客户通过向我提供他们的http端点凭据来订阅这些数据

我必须处理他们的端点没有响应或速度慢的问题,因此我将缓冲消息直到发送(消耗),这将需要存储

为了限制这个存储空间,我想知道我是否可以观察我的消费者的延迟,当它达到阈值时,会自动增加主题租金(稍后会自动减少)

这将帮助我在默认情况下设置较短的保留期,并且能够在不丢失消息的情况下处理不可用的外部端点。(当然,如果滞后持续增长,我将不得不采取其他行动)

那么,我的问题是,卡夫卡能做到这一点吗?这样做的时候,有什么东西我应该带上焦糖吗


非常感谢

您可以调整topic vis kafka命令行工具的保留时间:

bin/kafka-configs.sh --bootstrap-server localhost:9092 --entity-type topics --entity-name test --alter --add-config  retention.ms=55000
或者,如果您想在您的代码中完成此操作,请查看课程。

谢谢您回答问题中的“如何”部分。在更改“动态”主题的保留时,您是否有我应该注意的事项?