Apache flink 如何使用flink在主流中使用另一个流数据

Apache flink 如何使用flink在主流中使用另一个流数据,apache-flink,Apache Flink,我有作为数据流NIFI连接器的员工主数据,还有一个包含员工详细信息的KAFA数据主流。在Process元素中,我必须使用此主数据流进行一些计算。我们有什么办法可以做吗 我当前的设计包含一个数据流和一个广播流(broadCastStream),所有的数据处理都是在(mainDataProcessor)中的进程元素下进行的,该元素是从KeyedBroadcastProcessFunction派生的。 我正在将我的广播流连接到主流,如下所述。 ie.mainStream.connect(broadCa

我有作为数据流NIFI连接器的员工主数据,还有一个包含员工详细信息的KAFA数据主流。在Process元素中,我必须使用此主数据流进行一些计算。我们有什么办法可以做吗

我当前的设计包含一个数据流和一个广播流(broadCastStream),所有的数据处理都是在(mainDataProcessor)中的进程元素下进行的,该元素是从KeyedBroadcastProcessFunction派生的。 我正在将我的广播流连接到主流,如下所述。 ie.mainStream.connect(broadCastStream).process(新的mainDataProcessor())


现在,我们还需要引入另一个数据流,该数据流包含来自Casandra表的主数据,并借助NIFI连接器。我需要process元素中的这个主表数据流来使用主流数据和广播数据进行一些计算,有什么方法可以做到这一点。

您通常想要做的是将流连接到特定列上。例如,使用

如果您在DataStream上,也可以使用联接,但需要注意状态大小(何时可以丢弃数据?)

如果您没有可供加入的员工id,您也可以尝试使用,但不推荐这样做


如果您需要更具体的提示,请更新您的问题,并说明您使用的API。

我已更新了问题。请让我知道你的意见。你能补充一下为什么加入不适用吗?除非明确需要,否则我不鼓励手动实现类似join的东西。主数据流、主数据流和广播数据所有这三个流数据都没有一个通用的结构,这将仅用于一些计算。这就是我在这里不使用连接的原因。是否可以将多个广播流与主数据流一起使用?通常在具有不同结构的关系之间进行[join |连接。广泛广播需要跨所有计算节点复制数据,并且应该仅在连接无法工作时使用。