Apache kafka ApacheNIFI如何使用Kafka_1_0处理器

Apache kafka ApacheNIFI如何使用Kafka_1_0处理器,apache-kafka,kafka-consumer-api,apache-nifi,Apache Kafka,Kafka Consumer Api,Apache Nifi,我有Nifi集群,卡夫卡也安装在那里 创建了一个带有5个分区的主题,开始使用带有一个gourp-id的主题。这样每个分区将获得唯一的消息 现在,我创建了5个ConsumerKafka_1_0处理器,目的是在每个用户端获取唯一的消息。但只有2个消费者卡夫卡1\u 0正在消费所有信息,其余的则设置为理想 现在我所做的是启动5个命令行Kafka使用者,所发生的事情是,我能够看到所有分区都在获取消息,并且只能以循环方式从命令行使用者处使用它们 另外,我试着描述了Kafka组,我看到的只是Nifi Con

我有Nifi集群,卡夫卡也安装在那里

创建了一个带有5个分区的主题,开始使用带有一个gourp-id的主题。这样每个分区将获得唯一的消息

现在,我创建了5个ConsumerKafka_1_0处理器,目的是在每个用户端获取唯一的消息。但只有2个消费者卡夫卡1\u 0正在消费所有信息,其余的则设置为理想

现在我所做的是启动5个命令行Kafka使用者,所发生的事情是,我能够看到所有分区都在获取消息,并且只能以循环方式从命令行使用者处使用它们

另外,我试着描述了Kafka组,我看到的只是Nifi Consumer中的2个Kafka_1_0正在消耗所有5个分区,其余的都很理想,请参见快照

请告诉我Nifi消费者处理器的问题所在


注意-我使用的Nifi版本是1.5,卡夫卡版本是1.0。

我写了这篇文章,解释了与卡夫卡的集成是如何工作的:

ApacheKafka客户机(由NiFi使用)为使用者分配分区


通常,如果您有一个5节点的NiFi集群,画布上有一个ConsumerKafka处理器和一个并发任务,那么每个节点将使用一个分区。

有没有办法让我在您的文章中提到的所有不同节点中运行每个NiFi kafka consumer?这应该是自动发生的,当启动处理器时,每个节点上都有一个实例,每个实例使用Apache Kafka客户端创建一个使用者,然后该客户端应自动平衡和分配分区,NiFi不做任何特殊操作来控制该部分#BryanBende我们可以选择在“所有节点”上运行ConsumerKafka处理器或者仅在“主节点”中。在我的案例中,当我在所有节点中选择它的3个并在Nifi中创建了5个使用者时,我们得到了15个创建的实例,正如我在图片中所示,这是出乎意料的,当我在每个Nifi使用者上只选择主节点时,一切都按照预期工作,因为我有5个分区,每个使用者都得到了均匀分布的消息。但是正如你所说的解释了每个使用者都位于不同的节点上,这是当前Nifi无法实现的,但所有使用者将只运行在一个节点上。在这种情况下,将不会使用Nifi集群的全部容量,并且将始终使主节点负担过重。