Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/sorting/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java kafka作为flink的消息调度器-分区_Java_Apache Kafka_Apache Flink - Fatal编程技术网

Java kafka作为flink的消息调度器-分区

Java kafka作为flink的消息调度器-分区,java,apache-kafka,apache-flink,Java,Apache Kafka,Apache Flink,我有一个进程需要将某些数据发送到flink集群(通过kafka),该集群由3个节点组成。据我预测,总共会有两个不同的主题。所有消息都将加上时间戳。消息的顺序必须保持不变 我无法理解消息分区(key)背后的机制。如果我希望有一个如上所述的简单消息分派器,那么消息分区是否重要?如果是这样,根据我应该选择什么?不清楚您需要什么顺序(通过某些UUID、生成数据的服务器、其他事件类型等),但是卡夫卡消息顺序只保证在任何主题的分区内,并且任何卡夫卡消费者(包括Flink)都保证按顺序读取其分配的分区 如果您

我有一个进程需要将某些数据发送到flink集群(通过kafka),该集群由3个节点组成。据我预测,总共会有两个不同的主题。所有消息都将加上时间戳。消息的顺序必须保持不变


我无法理解消息分区(key)背后的机制。如果我希望有一个如上所述的简单消息分派器,那么消息分区是否重要?如果是这样,根据我应该选择什么?

不清楚您需要什么顺序(通过某些UUID、生成数据的服务器、其他事件类型等),但是卡夫卡消息顺序只保证在任何主题的分区内,并且任何卡夫卡消费者(包括Flink)都保证按顺序读取其分配的分区

如果您指定了一个密钥。如果您有一个空键,那么它将均匀地循环所有分区

Flink producer上次检查时覆盖了此行为。看见如果您仅将Flink用作消费者,则无需担心这一点


默认情况下,消息在Kafka中的时间戳顺序与发送(发布)消息的进程的顺序相同。好的,您没有看到消费者获得相同的顺序吗?不,我只是不理解Kafka分区。我有时看到关键:价值是一样的,我想我不是唯一一个努力理解它的概念的人:)使用什么生产者客户机?在Java中,看看OK,然后根据我的消息键应该是什么?与上述问题基本相同:)