Linux 卡夫卡日志+；如何限制日志大小

在我的ambari集群中（版本2.6）

我们有主机器和工人机器 而卡夫卡则安装在主机上

分区/数据仅15G 卡夫卡日志文件夹为-/data/var/kafka/kafka日志

/data/var/kafka/kafka日志下的大多数文件夹大小为4K-40K

但是有两个文件夹的大小非常大-5G-7G，这导致/data为100%

例如：

在/data/var/kafka/kafka日志/mmno.aso.prpl.proces-90下

12K     00000000000000000000.index
1.0G    00000000000000000000.log
16K     00000000000000000000.timeindex
12K     00000000000001419960.index
1.0G    00000000000001419960.log
16K     00000000000001419960.timeindex
12K     00000000000002840641.index
1.0G    00000000000002840641.log
16K     00000000000002840641.timeindex
12K     00000000000004260866.index
1.0G    00000000000004260866.log
16K     00000000000004260866.timeindex
12K     00000000000005681785.index
1.0G    00000000000005681785.log

是否可以限制日志的大小？还是其他解决方案？

---

我们有小的/data，需要的日志不应该是1G大小，如何解决它？

Kafka有许多代理/主题配置来限制日志的大小。特别是：

• log.retention.bytes

  ：删除日志之前的最大日志大小

• log.retention.hours

  ：删除日志文件之前保留日志文件的小时数

请注意，这些不是硬边界，因为每个段都会发生删除，如中所述：。此外，这些都是每个主题。但是通过设置这些，您应该能够控制数据目录的大小

---

有关

log.retention.*

/

log.roll.*

/

log.segment.*

configs.

我认为log.retention.hours不会有帮助，因为kafka日志下的一些主题文件夹是5-10G，所以如果我们将其最小化为10小时，然后，当使用

log.retention.bytes

时，将显示最大为10h的巨大文件夹。我提到了可以用来控制日志大小的所有可能配置，然后由您来找到符合集群要求的组合。