Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/logging/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Logging 理解kafka log.dirs_Logging_Apache Kafka_Partition_Kafka Topic - Fatal编程技术网

Logging 理解kafka log.dirs

Logging 理解kafka log.dirs,logging,apache-kafka,partition,kafka-topic,Logging,Apache Kafka,Partition,Kafka Topic,我有卡夫卡集群和 log.dirs=/data/kafka设置为server.properties中的数据目录。 我的数据分区一直在变满,因为这些日志占据了很大一部分。 (谈论主题目录中的二进制日志,如000000000000000.log) 我阅读了有关此参数的文档 (log.dir是保存日志数据的目录。如果未设置,则使用log.dir中的值) 我还没有完全理解其中的含义 此外,可以删除它们吗?应该配置哪些保留?是否建议将其与数据目录分开? 感谢卡夫卡主题是一个或多个卡夫卡分区的逻辑分组。每个

我有卡夫卡集群和 log.dirs=/data/kafka设置为server.properties中的数据目录。 我的数据分区一直在变满,因为这些日志占据了很大一部分。 (谈论主题目录中的二进制日志,如000000000000000.log) 我阅读了有关此参数的文档 (log.dir是保存日志数据的目录。如果未设置,则使用log.dir中的值)

我还没有完全理解其中的含义 此外,可以删除它们吗?应该配置哪些保留?是否建议将其与数据目录分开?
感谢

卡夫卡主题是一个或多个卡夫卡分区的逻辑分组。每个kafka分区基本上都是磁盘上的(日志)文件。因此,您发布的卡夫卡数据仅存储在这些文件(日志)中

log.dirs告诉卡夫卡在哪里创建这些文件。因此,每当您有一个新分区时(通过增加现有主题的分区或创建一个新主题),您都会在log.dirs中看到新文件


您应该而不是手动删除此文件夹中的数据。使用log.retention.hours来配置Kafka应该保存您的数据多长时间。

谢谢您的帮助,所以我在集群中还有另一个问题,只有某个分区的前导在log.dirs中有新文件。?不一定。如果您有复制设置,领导者和追随者将在log.dirs中有新文件。