Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache kafka 当我使用Kafka Streams时,我非常困惑,我应该如何指定主题分区的偏移量以供使用?_Apache Kafka_Offset_Apache Kafka Streams - Fatal编程技术网

Apache kafka 当我使用Kafka Streams时,我非常困惑,我应该如何指定主题分区的偏移量以供使用?

Apache kafka 当我使用Kafka Streams时,我非常困惑,我应该如何指定主题分区的偏移量以供使用?,apache-kafka,offset,apache-kafka-streams,Apache Kafka,Offset,Apache Kafka Streams,例如,我有一个带有4个分区的主题“测试”。当我启动流应用程序时,一段时间后,应用程序崩溃。我想指定消耗的偏移量,我想在上次读取后使用偏移量中的数据。 但我找不到任何东西可以帮助实现它使用卡夫卡流api 另外,我们使用的是kafka-2.1.0如果您指定了groupId和自动偏移提交,则只需重新启动流即可恢复中断。谢谢,我明白您的意思。可能是我描述得不对。具体地说,我希望在每次消费结束时将主题分区偏移量存储到一个外部组件,如redis。然后每次我消费时,我都从redis查询主题分区偏移量,并通过我

例如,我有一个带有4个分区的主题“测试”。当我启动流应用程序时,一段时间后,应用程序崩溃。我想指定消耗的偏移量,我想在上次读取后使用偏移量中的数据。 但我找不到任何东西可以帮助实现它使用卡夫卡流api


另外,我们使用的是kafka-2.1.0

如果您指定了groupId和自动偏移提交,则只需重新启动流即可恢复中断。谢谢,我明白您的意思。可能是我描述得不对。具体地说,我希望在每次消费结束时将主题分区偏移量存储到一个外部组件,如redis。然后每次我消费时,我都从redis查询主题分区偏移量,并通过我指定的主题分区offset开始消费。Kafka Streams不会公开这一点。在Streams应用程序启动/停止之前,您必须使用Consumer API来获取/设置偏移量。Kafka Streams(当前)不打算与Kafkai外部的服务交互如果您指定了groupId和自动偏移提交,则只需重新启动流即可恢复停止的状态。谢谢,我理解您所说的。可能是我描述得不对。具体地说,我希望在每次消费结束时将主题分区偏移量存储到一个外部组件,如redis。然后每次我消费时,我都从redis查询主题分区偏移量,并通过我指定的主题分区offset开始消费。Kafka Streams不会公开这一点。在Streams应用程序启动/停止之前,您必须使用Consumer API来获取/设置偏移量。Kafka Streams(目前)不打算与Kafka外部的服务交互