Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache kafka 面向消费者的Apache Kafka中的静态成员身份_Apache Kafka_Kafka Consumer Api - Fatal编程技术网

Apache kafka 面向消费者的Apache Kafka中的静态成员身份

Apache kafka 面向消费者的Apache Kafka中的静态成员身份,apache-kafka,kafka-consumer-api,Apache Kafka,Kafka Consumer Api,我在kafka的最新版本中了解到,消费者订阅可以使用静态成员身份策略,而不是早期的动态成员身份检测,这有助于解决消费者在滚动部署中被反弹的情况。现在,当消费者在被弹跳后起床时,它会赶上同一分区并开始处理 我的问题是,如果我们故意关闭消费者,会发生什么?如何处理特定消费者订阅的分区中的消息?如果手动订阅,则必须在应用程序代码中处理该情况-这是自动订阅的优点,所有分区将在重新平衡后分配给其中一个组 为了满足用户永久离开手动订阅组的需求,我想您需要在某个地方跟踪订阅,也许让每个用户ping以让您知道它

我在kafka的最新版本中了解到,消费者订阅可以使用静态成员身份策略,而不是早期的动态成员身份检测,这有助于解决消费者在滚动部署中被反弹的情况。现在,当消费者在被弹跳后起床时,它会赶上同一分区并开始处理


我的问题是,如果我们故意关闭消费者,会发生什么?如何处理特定消费者订阅的分区中的消息?

如果手动订阅,则必须在应用程序代码中处理该情况-这是自动订阅的优点,所有分区将在重新平衡后分配给其中一个组

为了满足用户永久离开手动订阅组的需求,我想您需要在某个地方跟踪订阅,也许让每个用户ping以让您知道它是活动的


我不确定手动订阅适合哪些用例——我必须回去查看KafkaConsumer中的Javadoc,它非常全面。只要用户中没有本地状态,自动订阅似乎更安全、更具弹性。

如果手动订阅,则必须在应用程序代码中处理该情况-这是自动订阅的优点,所有分区将在重新平衡后分配给其中一个组

为了满足用户永久离开手动订阅组的需求,我想您需要在某个地方跟踪订阅,也许让每个用户ping以让您知道它是活动的


我不确定手动订阅适合哪些用例——我必须回去查看KafkaConsumer中的Javadoc,它非常全面。只要消费者中没有本地状态,自动订阅似乎更安全、更具弹性。

消费者关闭后,消费者组将在消费者的
会话.timeout.ms之后进行正常的重新平衡

配置静态成员身份时,重要的是将
session.timeout.ms
增加到高于默认值10000的值,这样消费者就不会过早地重新平衡。将此值设置得足够高,以允许工作人员有时间启动、重新启动、部署等。否则,如果错过太多,应用程序可能会进入重新启动周期 正常操作时的心跳。将其设置得过高可能会导致 如果工人死亡,长期部分不可用,以及 工作量没有重新平衡。每个应用程序都将设置此值
根据其自身的可用性需求而有所不同。

消费者关机后,消费者组将在消费者的
会话超时.ms后进行正常的重新平衡

配置静态成员身份时,重要的是将
session.timeout.ms
增加到高于默认值10000的值,这样消费者就不会过早地重新平衡。将此值设置得足够高,以允许工作人员有时间启动、重新启动、部署等。否则,如果错过太多,应用程序可能会进入重新启动周期 正常操作时的心跳。将其设置得过高可能会导致 如果工人死亡,长期部分不可用,以及 工作量没有重新平衡。每个应用程序都将设置此值
根据其自身的可用性需求有所不同。

请务必在链接到您自己的博客时披露您的从属关系。我建议阅读有关堆栈溢出自我提升的指导。请务必在链接到您自己的博客时披露您的从属关系。我建议阅读有关堆栈溢出自我提升的指导。