Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/visual-studio-code/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache flink Flink应用程序级障碍_Apache Flink - Fatal编程技术网

Apache flink Flink应用程序级障碍

Apache flink Flink应用程序级障碍,apache-flink,Apache Flink,我正试图找出什么是在Flink中对合并多个流设置障碍的正确方法 让我们假设我有4个键控流,每个流计算成批数据的聚合统计信息。接下来,我想将这4个流的结果合并成一个流(Y),并对收到的4个摘要执行一些额外的计算 问题是如何使Y节点等待,直到它接收到X=N的所有摘要,然后再继续执行X=N+1。 在图片中,节点3发送其摘要X=N晚于节点4发送其X=N+1 因此,节点Y必须等到收到节点3摘要,同时以某种方式缓存来自其他节点的X=N+1的摘要 我在文档中找不到任何类似的内容,因此我非常感谢您提供任何提示

我正试图找出什么是在Flink中对合并多个流设置障碍的正确方法

让我们假设我有4个键控流,每个流计算成批数据的聚合统计信息。接下来,我想将这4个流的结果合并成一个流(Y),并对收到的4个摘要执行一些额外的计算

问题是如何使Y节点等待,直到它接收到X=N的所有摘要,然后再继续执行X=N+1。 在图片中,节点3发送其摘要X=N晚于节点4发送其X=N+1 因此,节点Y必须等到收到节点3摘要,同时以某种方式缓存来自其他节点的X=N+1的摘要


我在文档中找不到任何类似的内容,因此我非常感谢您提供任何提示。

我发现这项任务可以通过简单地执行以下操作来解决:

.keyBy(X)
.countWindow(4)
.fold(...)