Apache kafka 处理kafka broker的全部磁盘空间

Apache kafka 处理kafka broker的全部磁盘空间,apache-kafka,Apache Kafka,我们已经设置了zookeeper仲裁(3个节点)和3个kafka代理。制作人无法向卡夫卡发送记录——数据丢失。在调查期间,我们(仍然)可以通过SSH连接到该代理,并观察到代理磁盘已满。我们删除了主题日志,以清除一些磁盘空间,并再次按预期执行代理功能 虽然我们还可以对经纪人说(我们现在看不到原木),但我认为动物园管理员可以听到经纪人的心跳,没有考虑到它的下降。处理此类事件的最佳做法是什么?最佳做法是避免此类事件发生 您需要监控代理的磁盘使用情况,并在可用磁盘空间不足时提前发出警报 您需要对数据设置

我们已经设置了zookeeper仲裁(3个节点)和3个kafka代理。制作人无法向卡夫卡发送记录——数据丢失。在调查期间,我们(仍然)可以通过SSH连接到该代理,并观察到代理磁盘已满。我们删除了主题日志,以清除一些磁盘空间,并再次按预期执行代理功能


虽然我们还可以对经纪人说(我们现在看不到原木),但我认为动物园管理员可以听到经纪人的心跳,没有考虑到它的下降。处理此类事件的最佳做法是什么?

最佳做法是避免此类事件发生

您需要监控代理的磁盘使用情况,并在可用磁盘空间不足时提前发出警报

您需要对数据设置保留限制,以确保定期删除数据

您还可以使用主题策略(请参见
create.Topic.policy.class.name
)来控制创建/更新主题时允许的保留时间/大小,以确保主题无法填满磁盘


您所做的恢复步骤还可以,但您确实不想填充磁盘以保持群集的高可用性。

是回答此问题的更好论坛。StackOverflow用于编程问题,而ServerFault涉及管理和网络相关问题,这更像是一个管理类问题。谢谢。我的假设有说服力吗。。zk还能心跳到经纪人磁盘已满,没有领导人再次当选=数据丢失?