Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache kafka 卡夫卡经纪人;设备上没有剩余空间”;_Apache Kafka - Fatal编程技术网

Apache kafka 卡夫卡经纪人;设备上没有剩余空间”;

Apache kafka 卡夫卡经纪人;设备上没有剩余空间”;,apache-kafka,Apache Kafka,我有一个6节点的Kafka集群,由于不可预见的情况,其中一个代理上的Kafka分区被完全填满 卡夫卡不会开始 我们设法处理来自其他代理的主题的数据 我们有一个复制因子4,所以那里一切都很好 我是否可以手动从主题中删除索引文件,以便kafka可以启动并清除数据本身,或者如果我这样做,是否存在损坏的风险 一旦代理启动,它应该清除大部分空间,因为我们已通过将已处理主题的保留设置为较低来清除主题 最好的方法是什么?在本例中,我发现最好的方法是删除日志并减少卡夫卡的保留期或复制 一些评论提到调整保留期。我

我有一个6节点的Kafka集群,由于不可预见的情况,其中一个代理上的Kafka分区被完全填满

卡夫卡不会开始

我们设法处理来自其他代理的主题的数据

我们有一个复制因子4,所以那里一切都很好

我是否可以手动从主题中删除索引文件,以便kafka可以启动并清除数据本身,或者如果我这样做,是否存在损坏的风险

一旦代理启动,它应该清除大部分空间,因为我们已通过将已处理主题的保留设置为较低来清除主题


最好的方法是什么?

在本例中,我发现最好的方法是删除日志并减少卡夫卡的
保留期
复制

一些评论提到调整保留期。我提到我们已经这样做了。问题是,只有在清除部分空间后,磁盘已满的代理才能启动


在dev环境上测试之后,我能够通过从一个Kafka日志文件夹中删除一些.log和.index文件来解决这个问题。这允许代理启动。然后,它会根据保留自动开始清除数据,情况得到解决。

如果其他副本同步,您可以删除日志。更好的方法是增加磁盘大小hi@cricket_007最好删除索引、日志文件还是整个目录?我认为logs@cricket_007指的是卡夫卡日志。与卡夫卡指数无关。如果您的Kafka环境已经启动并运行了很长时间,那么您可能有很多可以删除的日志。您可以通过降低保留策略来调整、高度消耗主题