Logging 理解kafka log.dirs
我有卡夫卡集群和 log.dirs=/data/kafka设置为server.properties中的数据目录。 我的数据分区一直在变满,因为这些日志占据了很大一部分。 (谈论主题目录中的二进制日志,如000000000000000.log) 我阅读了有关此参数的文档 (log.dir是保存日志数据的目录。如果未设置,则使用log.dir中的值) 我还没有完全理解其中的含义 此外,可以删除它们吗?应该配置哪些保留?是否建议将其与数据目录分开?Logging 理解kafka log.dirs,logging,apache-kafka,partition,kafka-topic,Logging,Apache Kafka,Partition,Kafka Topic,我有卡夫卡集群和 log.dirs=/data/kafka设置为server.properties中的数据目录。 我的数据分区一直在变满,因为这些日志占据了很大一部分。 (谈论主题目录中的二进制日志,如000000000000000.log) 我阅读了有关此参数的文档 (log.dir是保存日志数据的目录。如果未设置,则使用log.dir中的值) 我还没有完全理解其中的含义 此外,可以删除它们吗?应该配置哪些保留?是否建议将其与数据目录分开? 感谢卡夫卡主题是一个或多个卡夫卡分区的逻辑分组。每个
感谢卡夫卡主题是一个或多个卡夫卡分区的逻辑分组。每个kafka分区基本上都是磁盘上的(日志)文件。因此,您发布的卡夫卡数据仅存储在这些文件(日志)中 log.dirs告诉卡夫卡在哪里创建这些文件。因此,每当您有一个新分区时(通过增加现有主题的分区或创建一个新主题),您都会在log.dirs中看到新文件
您应该而不是手动删除此文件夹中的数据。使用log.retention.hours来配置Kafka应该保存您的数据多长时间。谢谢您的帮助,所以我在集群中还有另一个问题,只有某个分区的前导在log.dirs中有新文件。?不一定。如果您有复制设置,领导者和追随者将在log.dirs中有新文件。