Apache kafka Kafka Streams-具有相同应用程序id的多个线程或多个实例
我有一个Kafka Streams应用程序,它使用主题“a”中的10个分区,每秒大约10k条消息。我对什么对我的申请更有利感到困惑Apache kafka Kafka Streams-具有相同应用程序id的多个线程或多个实例,apache-kafka,kafka-consumer-api,apache-kafka-streams,node-kafka-streams,Apache Kafka,Kafka Consumer Api,Apache Kafka Streams,Node Kafka Streams,我有一个Kafka Streams应用程序,它使用主题“a”中的10个分区,每秒大约10k条消息。我对什么对我的申请更有利感到困惑 To run multiple Kafka Streams application instances with same consumer group. OR To run single kafka streams application with more num.stream.threads 正如《合流》中提到的 应用程序运行的最大并行度是有限制的 由
To run multiple Kafka Streams application instances with same consumer group.
OR
To run single kafka streams application with more num.stream.threads
正如《合流》中提到的 应用程序运行的最大并行度是有限制的 由流任务的最大数量决定,其本身由 应用程序所属输入主题的最大分区数 阅读。例如,如果输入主题有5个分区,则 最多可以运行5个应用程序实例 因此,在处理消息时,运行10个应用程序实例或一个具有10个线程的单一streams应用程序并没有什么区别。除了运行10个应用程序实例外,您可以在分布在不同机器上的不同JVM上运行它,这有助于提高吞吐量 也看到