Apache kafka streams 流螺纹计算_Apache Kafka Streams

Apache kafka streams 流螺纹计算

Apache kafka streams 流螺纹计算,apache-kafka-streams,Apache Kafka Streams,我正在使用流DSL。我有三个分区为17、100、40的源主题。我将运行三个实例和两个备用实例如何计算需要多少个流线程，以便每个线程只获得一个任务或实现最高并行性这取决于应用程序的结构。您可以使用单个线程运行应用程序，并观察创建的任务数。任务数是可以使用的最大线程数创建的任务会被记录下来，或者您可以通过KafkaStream#localThreadMetadata（）获得它们。我将在这里简要讨论一种方法您要求最大的并行性这可以通过在一个单独的文档中分离每个主题来实现拓扑学每个拓扑

我正在使用流DSL。我有三个分区为17、100、40的源主题。我将运行三个实例和两个备用实例

如何计算需要多少个流线程，以便每个线程只获得一个任务或实现最高并行性

这取决于应用程序的结构。您可以使用单个线程运行应用程序，并观察创建的任务数。任务数是可以使用的最大线程数

创建的任务会被记录下来，或者您可以通过

KafkaStream#localThreadMetadata（）

获得它们。我将在这里简要讨论一种方法

您要求最大的并行性

这可以通过在一个单独的文档中分离每个主题来实现拓扑学
每个拓扑都有单独的线程数（每个拓扑一个线程）每个主题的消费者）-17/31000/3，40/3-主题分区/实例
这将确保每个拓扑获得单独的线程数和分离并行
每个拓扑将充当单独的使用者团体