Apache flink Flink应用程序级障碍
我正试图找出什么是在Flink中对合并多个流设置障碍的正确方法 让我们假设我有4个键控流,每个流计算成批数据的聚合统计信息。接下来,我想将这4个流的结果合并成一个流(Y),并对收到的4个摘要执行一些额外的计算 问题是如何使Y节点等待,直到它接收到X=N的所有摘要,然后再继续执行X=N+1。 在图片中,节点3发送其摘要X=N晚于节点4发送其X=N+1 因此,节点Y必须等到收到节点3摘要,同时以某种方式缓存来自其他节点的X=N+1的摘要Apache flink Flink应用程序级障碍,apache-flink,Apache Flink,我正试图找出什么是在Flink中对合并多个流设置障碍的正确方法 让我们假设我有4个键控流,每个流计算成批数据的聚合统计信息。接下来,我想将这4个流的结果合并成一个流(Y),并对收到的4个摘要执行一些额外的计算 问题是如何使Y节点等待,直到它接收到X=N的所有摘要,然后再继续执行X=N+1。 在图片中,节点3发送其摘要X=N晚于节点4发送其X=N+1 因此,节点Y必须等到收到节点3摘要,同时以某种方式缓存来自其他节点的X=N+1的摘要 我在文档中找不到任何类似的内容,因此我非常感谢您提供任何提示
我在文档中找不到任何类似的内容,因此我非常感谢您提供任何提示。我发现这项任务可以通过简单地执行以下操作来解决:
.keyBy(X)
.countWindow(4)
.fold(...)