Apache kafka 如何在server.properties中安全删除旧Kafka日志_Apache Kafka

Apache kafka 如何在server.properties中安全删除旧Kafka日志

apache-kafka

Apache kafka 如何在server.properties中安全删除旧Kafka日志,apache-kafka,Apache Kafka,我使用了卡夫卡2.3版，我想删除旧卡夫卡日志有两个文件夹 log.dirs=/var/www/html/zookeeper\u 1/zookeeper\u data\u 1 kafka_2.10-0.8.2.2/日志两个文件夹之间有什么区别？我想删除旧日志？我认为删除旧日志最安全的方法是正确配置保留策略在卡夫卡，有两种类型的日志保留；大小和时间保留。前者由log.retention.bytes触发，后者由log.retention.hours触发假设您需要deletecleanup策略

我使用了卡夫卡2.3版，我想删除旧卡夫卡日志

有两个文件夹

log.dirs=/var/www/html/zookeeper\u 1/zookeeper\u data\u 1

kafka_2.10-0.8.2.2/日志

两个文件夹之间有什么区别？我想删除旧日志？

我认为删除旧日志最安全的方法是正确配置保留策略

在卡夫卡，有两种类型的日志保留；大小和时间保留。前者由

log.retention.bytes

触发，后者由

log.retention.hours

触发

假设您需要

delete

cleanup策略，则需要配置以下参数以

log.cleaner.enable=true
log.cleanup.policy=delete

然后您需要考虑

log.retention.bytes

、

log.segment.bytes

和

log.retention.check.interval.ms

的配置。为此，您必须考虑以下因素：

```
log.retention.bytes
```
是主题的单个分区的最低保证，这意味着如果将
log.retention.bytes
设置为512MB，则表示磁盘中始终有512MB的数据（每个分区）

同样，如果您在任何给定时间将
log.retention.bytes
设置为512MB，将
log.retention.check.interval.ms
设置为5分钟（这是默认值），则在触发保留策略之前，您将拥有至少512MB的数据+在5分钟窗口内生成的数据大小

磁盘上的主题日志由段组成。段大小取决于
log.segment.bytes
参数。对于
log.retention.bytes=1GB
和
log.segment.bytes=512MB
，磁盘上始终最多有3个段（2个段达到保留，第3个段将是当前写入数据的活动段）

最后，您应该进行计算，计算卡夫卡日志在磁盘上任何给定时间可能保留的最大大小，并相应地调整上述参数。我还建议设置一个时间保留策略，并相应地配置
log.retention.hours
。如果两天后您不再需要数据，请设置
log.retention.hours=48
我认为删除旧日志最安全的方法是正确配置保留策略

在卡夫卡，有两种类型的日志保留；大小和时间保留。前者由
log.retention.bytes
触发，后者由
log.retention.hours
触发
假设您需要
delete
cleanup策略，则需要配置以下参数以

log.cleaner.enable=true log.cleanup.policy=delete
然后您需要考虑
log.retention.bytes
、
log.segment.bytes
和
log.retention.check.interval.ms
的配置。为此，您必须考虑以下因素：

log.retention.bytes
是主题的单个分区的最低保证，这意味着如果将
log.retention.bytes
设置为512MB，则表示磁盘中始终有512MB的数据（每个分区）

同样，如果您在任何给定时间将
log.retention.bytes
设置为512MB，将
log.retention.check.interval.ms
设置为5分钟（这是默认值），则在触发保留策略之前，您将拥有至少512MB的数据+在5分钟窗口内生成的数据大小

磁盘上的主题日志由段组成。段大小取决于
log.segment.bytes
参数。对于
log.retention.bytes=1GB
和
log.segment.bytes=512MB
，磁盘上始终最多有3个段（2个段达到保留，第3个段将是当前写入数据的活动段）

最后，您应该进行计算，计算卡夫卡日志在磁盘上任何给定时间可能保留的最大大小，并相应地调整上述参数。我还建议设置一个时间保留策略，并相应地配置
log.retention.hours
。如果2天后您不再需要数据，则设置
log.retention.hours=48
一个是Zookeeper数据，另一个是Kafka 0.8.2.2数据，它与Kafka 2.3不直接兼容

您可以从后者中删除片段，但是如果您这样做，它可能会损坏主题，因此您应该让卡夫卡清理自己
一个是Zookeeper数据，另一个是卡夫卡0.8.2.2数据，它与卡夫卡2.3不直接兼容

您可以从后者中删除段，但是如果您这样做，则可能会损坏主题，所以你应该让卡夫卡自己清理一下
当卡夫卡不是web服务器时，为什么要将卡夫卡日志放入/var/www？当卡夫卡不是web服务器时，为什么要将卡夫卡日志放入/var/www？我在server.properties中编辑：-log.cleaner.enable=true log.cleanup.policy=delete log.retention.hours=1 log.retention.bytes=536870912log.segment.bytes=536870912 log.retention.check.interval.ms=300000，但路径/var/www/html/kafka_2.10-0.8.2.2/logs文件夹日志大小继续增加。我想删除旧日志。我在server.properties中编辑：-log.cleaner.enable=true log.cleanup.policy=delete log.retention.hours=1 log.retention.bytes=536870912 log.segment.bytes=536870912 log.retention.check.interval.ms=300000，但路径/var/www/html/kafka_2.10-0.8.2.2/logs文件夹中的日志大小没有变化。我想删除旧日志。