Apache kafka 为什么我们有u消费者u偏移分区默认值50?

Apache kafka 为什么我们有u消费者u偏移分区默认值50?,apache-kafka,Apache Kafka,为什么我们需要具有默认值50的uu消费者u偏移分区计数?i、 e offsets.topic.num.partitions默认值(如果为50)。我们甚至可以使用offset.topic.num.partitions=1。在不同的场景中使用\uuu consumer\u offset,例如当消费者开始工作以获取初始偏移量时,或者当消费者提交其最后处理的偏移量时。因此,根据他们提交偏移量的方式(默认情况下是自动提交的)以及使用者和代理的数量,\uu consumer\u offset的分区数量可能会

为什么我们需要具有默认值50的uu消费者u偏移分区计数?i、 e offsets.topic.num.partitions默认值(如果为50)。我们甚至可以使用offset.topic.num.partitions=1。

在不同的场景中使用
\uuu consumer\u offset
,例如当消费者开始工作以获取初始偏移量时,或者当消费者提交其最后处理的偏移量时。因此,根据他们提交偏移量的方式(默认情况下是自动提交的)以及使用者和代理的数量,
\uu consumer\u offset
的分区数量可能会直接影响偏移跟踪的性能和可靠性。因此,默认值可能是大多数设置的良好起点,但您应该知道,您需要根据应用程序对其进行优化。

Kafka通过在分区上拆分数据来实现扩展,从而允许在多台服务器上分发数据。这对于用于存储消费群体数据的内部主题尤其如此

此外,由于此设置在部署后无法更改,因此我有一个相对较大的默认值。这使得集群可以从少数几个代理增长到几十个代理,而无需解决这个内部主题的扩展问题

出于开发目的,如果您的硬件资源非常有限,可以将其设置为1,但我不推荐这样做。根据我的经验,我发现在我的开发环境中拥有50个分区的成本可以忽略不计