Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache kafka 如何知道一个主题中的所有文档已被卡夫卡消费者使用?_Apache Kafka - Fatal编程技术网

Apache kafka 如何知道一个主题中的所有文档已被卡夫卡消费者使用?

Apache kafka 如何知道一个主题中的所有文档已被卡夫卡消费者使用?,apache-kafka,Apache Kafka,我试图写一个卡夫卡消费者,在那里我可以流式传输一个主题中的所有文档。我想在所有的文档都被消费完并且我没有任何其他文档可以消费后关闭卡夫卡消费者 问题是,既然消费者应该持续阅读并且永不停止,有没有一种方法可以让我知道卡夫卡主题中的所有记录都已被消费并提交,这样我就可以关闭我的消费者?您使用的是哪种客户端?例如,如果您使用confluent的python客户端,然后,您可以知道message.error().code()==confluent_kafka.KafkaError.\u partitio

我试图写一个卡夫卡消费者,在那里我可以流式传输一个主题中的所有文档。我想在所有的文档都被消费完并且我没有任何其他文档可以消费后关闭卡夫卡消费者


问题是,既然消费者应该持续阅读并且永不停止,有没有一种方法可以让我知道卡夫卡主题中的所有记录都已被消费并提交,这样我就可以关闭我的消费者?

您使用的是哪种客户端?例如,如果您使用confluent的python客户端,然后,您可以知道message.error().code()==confluent_kafka.KafkaError.\u partition_EOFI am是否已使用我的spark应用程序中的spark-streaming-kafka-0-8_2.11使用分区的所有消息。