Apache kafka Kafka consumer group.id多条消息

Apache kafka Kafka consumer group.id多条消息,apache-kafka,kafka-consumer-api,Apache Kafka,Kafka Consumer Api,我开发了一个卡夫卡消费者,该消费者将在生产中运行多个实例。我知道如何使用group.id来避免重复数据处理。有没有一种方法可以让所有的消费者都收到信息,但只向一个消费者发送一个信息 有没有办法为每个主题甚至主题中的每个键设置group.id?看起来这与卡夫卡无关。您已经知道,通过为每个使用者提供唯一的group.id,所有使用者实例都将从该主题中获取所有消息。现在,就数据库推送而言,您可以考虑该逻辑并尝试使用分布式锁,这样应用程序的数据库推送部分只能由一个使用者执行。这是基于Java的设置吗?看

我开发了一个卡夫卡消费者,该消费者将在生产中运行多个实例。我知道如何使用group.id来避免重复数据处理。有没有一种方法可以让所有的消费者都收到信息,但只向一个消费者发送一个信息


有没有办法为每个主题甚至主题中的每个键设置group.id?

看起来这与卡夫卡无关。您已经知道,通过为每个使用者提供唯一的group.id,所有使用者实例都将从该主题中获取所有消息。现在,就数据库推送而言,您可以考虑该逻辑并尝试使用
分布式锁
,这样应用程序的数据库推送部分只能由一个使用者执行。这是基于Java的设置吗?

看起来这与卡夫卡无关。您已经知道,通过为每个使用者提供唯一的group.id,所有使用者实例都将从该主题中获取所有消息。现在,就数据库推送而言,您可以考虑该逻辑并尝试使用
分布式锁
,这样应用程序的数据库推送部分只能由一个使用者执行。这是基于Java的设置吗?

为什么不为每个使用者使用不同的组ID?我希望所有使用者在其内存中保留相同的记录一段时间。到了时候,我希望其中一个消费者向数据库提交他们的记录,但只有一个。因此,似乎最好的路由是不为消息设置group.id,而是为提交消息设置group.id。这样,只有一个消费者提交。这是一个独特的商业案例,我不确定是否有我需要的确切配置。后期评论:将他们的记录提交到数据库--这就是Kafka Connect的用途,不确定为什么要在.NET客户端中执行此操作为什么不为每个消费者使用不同的组ID?我希望所有消费者在其内存中保留相同的记录一段时间。到了时候,我希望其中一个消费者向数据库提交他们的记录,但只有一个。因此,似乎最好的路由是不为消息设置group.id,而是为提交消息设置group.id。这样,只有一个消费者提交。这是一个独特的商业案例,我不确定是否有我需要的确切配置。后期评论:将他们的记录提交到数据库——这就是Kafka Connect的目的,不确定为什么要在.NET客户端中执行此操作。不,这是.NET。我正在使用confluent.kafka图书馆。这把锁听起来很合适。不,是.NET。我正在使用confluent.kafka图书馆。这把锁听起来很合适。