Apache kafka 在storm 1.0.2中,卡夫卡喷口在每次重新启动拓扑时重复使用相同的数据

Apache kafka 在storm 1.0.2中,卡夫卡喷口在每次重新启动拓扑时重复使用相同的数据,apache-kafka,apache-storm,Apache Kafka,Apache Storm,我目前正在开发storm版本升级项目0.9.6->1.0.2 我的喷口没有从最新偏移量开始读取,即使在喷口配置构造函数中使用相同的喷口id。 哦,我没有删除zookeeper数据,只是删除了storm数据 我更改了我的项目配置和源代码,如下所示 1.storm core和storm kafka版本在pom.xml中从0.9.6更改为1.0.2,kafka_2.10更改为0.8.2.2。 2.更改包路径 -backtype->org.apache -storm.kafka->org.apache.

我目前正在开发storm版本升级项目0.9.6->1.0.2 我的喷口没有从最新偏移量开始读取,即使在喷口配置构造函数中使用相同的喷口id。 哦,我没有删除zookeeper数据,只是删除了storm数据

我更改了我的项目配置和源代码,如下所示 1.storm core和storm kafka版本在pom.xml中从0.9.6更改为1.0.2,kafka_2.10更改为0.8.2.2。 2.更改包路径 -backtype->org.apache -storm.kafka->org.apache.storm.kafka 3.在自定义方案中将序列化代码字节[]更改为ByteBuffer(我使用了AVRO类)

我开始拓扑,我的喷口消费者开始读取特定的偏移值。 我的拓扑读取这样的数据,即使重新启动拓扑,每次重新启动都会使用相同的数据

数据1->数据2->数据3 (重新启动拓扑) 数据1->数据2->数据3

在更改版本之前,像这样正确使用下一个数据,即使重新启动拓扑。 数据1->数据2->数据3 (重新启动拓扑) 数据4->数据5->数据6 (重新启动拓扑) 数据7->数据8->数据9

我没有更改SpoutConfig中的zkRoot值。(我想它的意思是kafka组id) 我如何解决这个问题


感谢和问候

检查喷口配置。开始时间
它可以是kafka.api.OffsetRequest.LatestTime()或kafka.api.OffsetRequest.EarliestTime()

检查喷动配置.startoffsetime
它可以是kafka.api.OffsetRequest.LatestTime()或kafka.api.OffsetRequest.EarliestTime()

您能解决这个问题吗?我有类似的问题。你能解决这个问题吗?我也有类似的问题。