Apache kafka 如何在apache nifi ConsumerKafka中的同一处理器中添加更多消费者

Apache kafka 如何在apache nifi ConsumerKafka中的同一处理器中添加更多消费者,apache-kafka,apache-nifi,Apache Kafka,Apache Nifi,Kafka主题有大约100个分区,我使用ApacheNIFI从该Kafka读取数据并发送其他服务器 目前这个nifi ConsumerKafka处理器只有一个消费者,我希望有相似数量的消费者与分区相匹配,我没有任何增加消费者数量的选项,目前我正在向同一消费者组添加新处理器,我认为这种方法是正确的 如何在相同的nifi consumerKafka处理器中增加消费者 在运行独立nifi实例的情况下,将启动单个使用者线程。要增加线程的数量,您需要增加处理器上的“并发任务”,它将启动那些多线程 在您的案

Kafka主题有大约100个分区,我使用ApacheNIFI从该Kafka读取数据并发送其他服务器

目前这个nifi ConsumerKafka处理器只有一个消费者,我希望有相似数量的消费者与分区相匹配,我没有任何增加消费者数量的选项,目前我正在向同一消费者组添加新处理器,我认为这种方法是正确的


如何在相同的nifi consumerKafka处理器中增加消费者

在运行独立nifi实例的情况下,将启动单个使用者线程。要增加线程的数量,您需要增加处理器上的“并发任务”,它将启动那些多线程

在您的案例中,由于主题有100个分区,为了获得最佳性能,您的使用者上应该总共有100个线程


如果您运行的是独立的nifi实例,则将启动单个使用者线程。要增加线程的数量,您需要增加处理器上的“并发任务”,它将启动那些多线程

在您的案例中,由于主题有100个分区,为了获得最佳性能,您的使用者上应该总共有100个线程

您在找这个吗?“在配置时,可以在“调度”选项卡下增加处理器上并发任务的数量。这允许同时执行更多进程,从而提供更高的吞吐量”-您是否正在寻找此选项?在配置时,可以在“计划”选项卡下增加处理器上并发任务的数量。这允许更多进程同时执行,从而提供更大的吞吐量-