Apache kafka 卡夫卡的信息能被不同的消费者消费吗?
Apache kafka 卡夫卡的信息能被不同的消费者消费吗?,apache-kafka,Apache Kafka,我是卡夫卡的新手。我已经通过kafkaSink制作了一个名为foo的卡夫卡消息,这是Flume中的一个类。当我想使用这些消息时,我不清楚很多问题:
1.我尝试使用kafka console consumer消费message foo,但成功了。我是否可以在其他地方使用另一个消费进程再次消费message foo?
2.相反,我不想再次消费message foo,因此当我尝试与其他消费者一起消费时,我应该什么也得不到。我如何才能实现这一点?
3.如果有两条消息foo和bar,我可以精确地指定使用者
我是卡夫卡的新手。我已经通过kafkaSink
制作了一个名为foo的卡夫卡消息,这是Flume中的一个类。当我想使用这些消息时,我不清楚很多问题:
1.我尝试使用kafka console consumer
消费message foo
,但成功了。我是否可以在其他地方使用另一个消费进程再次消费message foo
?
2.相反,我不想再次消费message foo
,因此当我尝试与其他消费者一起消费时,我应该什么也得不到。我如何才能实现这一点?
3.如果有两条消息foo
和bar
,我可以精确地指定使用者吗?(例如,我希望进程A使用message foo
,进程B使用message bar
。更进一步,可以指定消息偏移量的范围吗?它与消费者组
有关吗
我是否可以在其他地方使用另一个使用者进程再次使用message foo
可以。我们可以通过使用新的消费群体或重置现有消费群体的偏移量来消费任意次数
2.相反,我不想再次消费message foo,所以当我尝试与其他消费者一起消费时,我应该什么也得不到。我怎么能呢
实现这一目标
它都与一个消费者组名相关联,而消费者组名通常与一个需要这些消息的应用程序相关联。我们需要保持相同的消费者组名,并且通常提交的偏移量保留一周(可以更改),因此,通过保持相同的消费者组名称,我们可以从n个不同的地方运行应用程序n次,我们不会再次使用它,除非我们重置偏移量
3.如果有两条消息foo和bar,该怎么办?我可以精确地指定使用者吗?(例如,我希望进程A使用消息foo和bar)
进程B使用消息栏。若要进一步,是否可以指定
消息偏移量?是否与消费群体有关
我们总是可以通过将消费群体定位在某个偏移量来消费给定分区和偏移量的特定消息。这叫做寻找偏移量,而不是寻找最早或最晚的偏移量
我是否可以在其他地方使用另一个使用者进程再次使用message foo
可以。我们可以通过使用新的消费群体或重置现有消费群体的偏移量来消费任意次数
2.相反,我不想再次消费message foo,所以当我尝试与其他消费者一起消费时,我应该什么也得不到。我怎么能呢
实现这一目标
它都与一个消费者组名相关联,而消费者组名通常与一个需要这些消息的应用程序相关联。我们需要保持相同的消费者组名,并且通常提交的偏移量保留一周(可以更改),因此,通过保持相同的消费者组名称,我们可以从n个不同的地方运行应用程序n次,我们不会再次使用它,除非我们重置偏移量
3.如果有两条消息foo和bar,该怎么办?我可以精确地指定使用者吗?(例如,我希望进程A使用消息foo和bar)
进程B使用消息栏。若要进一步,是否可以指定
消息偏移量?是否与消费群体有关
我们总是可以通过将消费群体定位在某个偏移量来消费给定分区和偏移量的特定消息。这叫做寻找偏移量,而不是寻找最早或最晚的偏移量