Java 弗林克没有向卡夫卡承诺补偿

Java 弗林克没有向卡夫卡承诺补偿,java,scala,streaming,apache-kafka,apache-flink,Java,Scala,Streaming,Apache Kafka,Apache Flink,我有一个flink流媒体工作,从kafka读取数据并记录下来。我启用了检查点 我无法在卡夫卡中看到承诺的偏移量,相反,我得到了以下错误 任何帮助都是非常感激的 {$KAFKA_HOME/bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server localhost:9092 --describe --group flink-consumer-group Error while executing consumer group co

我有一个flink流媒体工作,从kafka读取数据并记录下来。我启用了检查点

我无法在卡夫卡中看到承诺的偏移量,相反,我得到了以下错误

任何帮助都是非常感激的

{$KAFKA_HOME/bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server localhost:9092 --describe --group flink-consumer-group
Error while executing consumer group command Group flink-consumer-group with protocol type '' is not a valid consumer group
java.lang.IllegalArgumentException: Group flink-consumer-group with protocol type '' is not a valid consumer group
at kafka.admin.AdminClient.describeConsumerGroup(AdminClient.scala:152)
at kafka.admin.ConsumerGroupCommand$KafkaConsumerGroupService.describeGroup(ConsumerGroupCommand.scala:308)
at kafka.admin.ConsumerGroupCommand$ConsumerGroupService$class.describe(ConsumerGroupCommand.scala:89)
at kafka.admin.ConsumerGroupCommand$KafkaConsumerGroupService.describe(ConsumerGroupCommand.scala:296)
at kafka.admin.ConsumerGroupCommand$.main(ConsumerGroupCommand.scala:68)
at kafka.admin.ConsumerGroupCommand.main(ConsumerGroupCommand.scala)}
版本

kafka_2.11-0.10.1.0 (server with) flink-connector-kafka-0.10_2.11

Flink自己处理偏移量。提交给卡夫卡(或旧版本或设置中的zookeeper)的偏移量或多或少只是用于您的信息或监控目的


您的错误看起来像是混淆了不同的卡夫卡版本(代理版本和客户端版本)。也许你可以再检查一遍。

所以我认为flink在默认情况下会在chekpointing上将偏移提交给kafka,因为默认值为true

不幸的是,这些偏移量通过卡夫卡偏移量检查器cli不可见

我们实现了一个scala kafka消费者,该消费者使用相同的消费者组连接到kafka,但不订阅主题以获取来自kafka的偏移量


注意:从卡夫卡版本0.9开始,消费者Flink Kafka导出所有标准度量,请参阅。

感谢TobiSh的回复。我知道flink不使用提交的偏移量,但在没有保存点的情况下重新启动应用程序时,它应该使用提交的偏移量,而在我的情况下,这是不可能的。我正在使用kafka_2.11-0.10.1.0(带有flink-connector-kafka-0.10_2.11Hi@mukh007的服务器)您是否有一些源代码,我们可以在其中复制这种行为。flink集群和kafka属性的配置也会很有用。您是否在日志文件中找到类似的内容:分区{}没有初始偏移量;消费者有位置{},所以初始偏移量将设置为{}我观察到相同的问题,好奇您是否能够解决它?