Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache kafka 使用启用kafka的azure事件中心的事件时复制消息_Apache Kafka_Spring Cloud_Spring Cloud Stream_Azure Eventhub_Spring Cloud Stream Binder Kafka - Fatal编程技术网

Apache kafka 使用启用kafka的azure事件中心的事件时复制消息

Apache kafka 使用启用kafka的azure事件中心的事件时复制消息,apache-kafka,spring-cloud,spring-cloud-stream,azure-eventhub,spring-cloud-stream-binder-kafka,Apache Kafka,Spring Cloud,Spring Cloud Stream,Azure Eventhub,Spring Cloud Stream Binder Kafka,我在使用启用kafka的azure事件中心的事件时收到重复消息。 我们正在对大约30k条消息进行负载测试,所有这些30k条消息首先从confluent kafka上的外部源系统在我们这边使用,然后我们进行数据处理/转换,并将其发送到azure(支持kafka的azure事件中心)上的内部kafka主题,我们的下游应用程序从那里使用这些消息。 我们能够使用confluent kafka发出的消息(>30K),而不会产生任何问题,但一旦完成数据转换并将这些消息发送到event hub topic供下

我在使用启用kafka的azure事件中心的事件时收到重复消息。 我们正在对大约30k条消息进行负载测试,所有这些30k条消息首先从confluent kafka上的外部源系统在我们这边使用,然后我们进行数据处理/转换,并将其发送到azure(支持kafka的azure事件中心)上的内部kafka主题,我们的下游应用程序从那里使用这些消息。 我们能够使用confluent kafka发出的消息(>30K),而不会产生任何问题,但一旦完成数据转换并将这些消息发送到event hub topic供下游应用程序使用,我们就发现,对于卷数(约>400 msg)的传入消息,消息会被重新处理(复制)即使在用户端手动确认每个记录之后。 我们的java服务使用spring云流kafka依赖项:

org.springframework.cloud spring云依赖关系 霍克斯顿释放

org.springframework.cloud 春云溪卡夫卡 3.0.0.1版本

用于消费消息。正如在前面的帖子中提到的,这个问题发生在一个消费群体中的两个消费者身上,但在我们的案例中,一个主题和一个消费群体中的一个消费者仍然会收到重复的消息。 我看到已经有一个问题开始讨论,但讨论尚未结束。 有人能告诉我这是否是云流kafka或azure事件中心的问题吗?我不认为这是云流kafka的问题,因为我们能够使用来自合流kafka的消息,这与azure事件中心有关。 如果有人能帮忙,我将不胜感激