Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache kafka 动态生成新的目的地,在kstream中读取,并在Spring Cloud Stream Kafka中删除目的地_Apache Kafka_Apache Kafka Streams_Spring Cloud Stream_Spring Cloud Stream Binder Kafka - Fatal编程技术网

Apache kafka 动态生成新的目的地,在kstream中读取,并在Spring Cloud Stream Kafka中删除目的地

Apache kafka 动态生成新的目的地,在kstream中读取,并在Spring Cloud Stream Kafka中删除目的地,apache-kafka,apache-kafka-streams,spring-cloud-stream,spring-cloud-stream-binder-kafka,Apache Kafka,Apache Kafka Streams,Spring Cloud Stream,Spring Cloud Stream Binder Kafka,考虑以下情况: 我有一个数据处理管道,其中生产者(Spring Cloud Streams Kafka binder)创建对某些事件作出反应的消息,将它们放入Kafka主题中,KStream(Spring Cloud Streams Kafka Streams binder)处理它们: | Producer-->msg n-2-->msg n-1-->m-n | KStream | 在某个时刻,可以启动同步过程,使生产者生成大量消息(~10000条)。这些消息独占该管道,使同步批处理后生成

考虑以下情况:

  • 我有一个数据处理管道,其中生产者(Spring Cloud Streams Kafka binder)创建对某些事件作出反应的消息,将它们放入Kafka主题中,KStream(Spring Cloud Streams Kafka Streams binder)处理它们:
| Producer-->msg n-2-->msg n-1-->m-n | KStream |

  • 在某个时刻,可以启动同步过程,使生产者生成大量消息(~10000条)。这些消息独占该管道,使同步批处理后生成的“正常”消息排队,从而延迟处理
我需要能够动态地为同步消息创建不同的目的地(卡夫卡主题),在那里发送消息,处理它们,并在完成处理后删除目的地

  • 如何让Spring云流Kafka制作人向动态目的地发送消息
  • 同样,如何使KStream开始处理来自新生成目的地的消息
  • 一旦卡夫卡主题处理完所有消息,我如何以编程方式销毁它
  • 注意:

    或者,您可以建议其他方法来处理这种情况(添加更多分区是无效的)