Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache kafka 卡夫卡磁盘空间已满_Apache Kafka - Fatal编程技术网

Apache kafka 卡夫卡磁盘空间已满

Apache kafka 卡夫卡磁盘空间已满,apache-kafka,Apache Kafka,我有一个带有1000GB磁盘的Kafka服务,该运行参数为: log.retention.bytes=350000000000 但是,磁盘空间的使用率达到了90%(900GB)。由于该参数正在运行,因此磁盘大小不应超过326GB。为什么会发生这种情况 其他财产: log.index.interval.bytes=4000 log.segment.bytes=250000000 log.index.size.max.bytes=10485760 log.retention.ms=168 虽然问

我有一个带有1000GB磁盘的Kafka服务,该运行参数为:

log.retention.bytes=350000000000
但是,磁盘空间的使用率达到了90%(900GB)。由于该参数正在运行,因此磁盘大小不应超过326GB。为什么会发生这种情况

其他财产:

log.index.interval.bytes=4000
log.segment.bytes=250000000
log.index.size.max.bytes=10485760
log.retention.ms=168
虽然问题并不十分清楚:

删除日志之前日志的最大大小

主题configs(无论如何都应该被视为正式文档)有一个更好的主题(在retention.bytes下):

此配置控制分区(由日志段组成)在丢弃旧日志段以释放空间(如果使用“删除”保留策略)之前可以增长到的最大大小。默认情况下,没有大小限制,只有时间限制。由于此限制是在分区级别强制执行的,因此将其乘以分区数,以字节为单位计算主题保留

简言之,此配置甚至不是针对每个主题的它的每个分区。我不知道kafka配置作为代理范围的大小限制


如果您试图在集群中的多个代理之间平衡数据负载,那么您可能应该查看

谢谢您的回复@radai。还有一个问题。。假设此代理中有3个主题,每个主题有3个分区。所以
log.retention.bytes=35000000000
意味着总大小可以达到
326GB*9=2925GB