Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/ajax/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache kafka 为什么Kafka分区对于可伸缩性是绝对必要的_Apache Kafka - Fatal编程技术网

Apache kafka 为什么Kafka分区对于可伸缩性是绝对必要的

Apache kafka 为什么Kafka分区对于可伸缩性是绝对必要的,apache-kafka,Apache Kafka,我发现,答案似乎提到Kafka分区是可伸缩性所必需的。但我不明白为什么为了扩展您的基础设施,它是“强制性的”?我觉得您可以简单地添加一个新节点,并增加主题的复制值?消费者应用程序端可伸缩性 分区不在同一组使用者实例中共享。如果您的主题只有一个分区,并且您的使用者应用程序有多个实例具有相同的使用者组id,那么它是无用的。因此,如果需要扩展消费者应用程序 对于多个实例,您需要有多个分区 卡夫卡经纪人端可扩展性 如果您的主题忙于处理消息,如果您有多个分区,您可以添加另一个节点并重新平衡分区,以便与新的

我发现,答案似乎提到Kafka分区是可伸缩性所必需的。但我不明白为什么为了扩展您的基础设施,它是“强制性的”?我觉得您可以简单地添加一个新节点,并增加主题的
复制
值?

消费者应用程序端可伸缩性

分区不在同一组使用者实例中共享。如果您的主题只有一个分区,并且您的使用者应用程序有多个实例具有相同的使用者组id,那么它是无用的。因此,如果需要扩展消费者应用程序 对于多个实例,您需要有多个分区

卡夫卡经纪人端可扩展性


如果您的主题忙于处理消息,如果您有多个分区,您可以添加另一个节点并重新平衡分区,以便与新的代理共享这些分区。因此,代理流量将与多个分区共享。如果只有一个分区,则不会共享任何流量,这使得该分区不可扩展。

消费者应用程序端可扩展性

分区不在同一组使用者实例中共享。如果您的主题只有一个分区,并且您的使用者应用程序有多个实例具有相同的使用者组id,那么它是无用的。因此,如果需要扩展消费者应用程序 对于多个实例,您需要有多个分区

卡夫卡经纪人端可扩展性


如果您的主题忙于处理消息,如果您有多个分区,您可以添加另一个节点并重新平衡分区,以便与新的代理共享这些分区。因此,代理流量将与多个分区共享。如果只有一个分区,则不会共享任何通信量,因此无法扩展。

AFAIK单个分区始终存储在单个节点上。因此,除非将主题拆分为多个分区,否则至少不能将主题的大小扩展到多个节点可以处理的大小。可能还有其他的限制,但这是一个简单易懂的基本限制。因此,除非将主题拆分为多个分区,否则至少不能将主题的大小扩展到多个节点可以处理的大小。可能还有其他限制,但这是一个很容易理解的基本限制。