Apache kafka 卡夫卡:按分区配置还是按主题配置?

Apache kafka 卡夫卡:按分区配置还是按主题配置?,apache-kafka,Apache Kafka,我使用以下命令在kafka集群中创建了一个主题 /opt/kafka/bin/kafka-topics.sh--zookeer kaf1:2181,kaf2:2181,kaf3:2181--create--topic mytopic--partitions 10--replication factor 2--config retention.bytes=1074000000--config delete.retention.ms=6000--config segment.bytes=105000

我使用以下命令在kafka集群中创建了一个主题

/opt/kafka/bin/kafka-topics.sh--zookeer kaf1:2181,kaf2:2181,kaf3:2181--create--topic mytopic--partitions 10--replication factor 2--config retention.bytes=1074000000--config delete.retention.ms=6000--config segment.bytes=105000000

因此,如果我正确理解了文档,我有一个主题,其中10个分区在我的3台kafka主机之间复制了2次。 接下来,每个卡夫卡主机必须保留1Go的数据。每个段的大小为100Mo,1分钟后将删除所有旧日志

现在,当我在kafka主机上的日志目录上执行
du-h
时,我有以下内容:

1,2G./mytopic-2
1,1G./mytopic-8
1,2G./mytopic-9
1,1G./mytopic-6
1,1G./mytopic-3
1,1G./mytopic-0
1,2G./mytopic-4
7,6G。

我认为完全为目录获取1Go,而不是为每个分区获取1Go

所以我的问题很简单,主题配置是针对每个分区还是针对所有主题


谢谢。

请参见下图(群集节点的分区分布可能不同):

好,所以配置主题是按分区,而不是按主题。谢谢你的回答。您是否在文档上有一个链接(我没有找到)来解释它?有一节主题级配置(3.1-Broker Configs),其中包含控制台工具配置参数和服务器属性之间的映射。例如,console中的retention.bytes参数等于服务器配置中的log.retention.bytes,即每个主题分区要保留在日志中的数据量。请通过链接查看更多详细信息: