Apache flink 为什么SortPartition命令不停止在远程群集上运行?

Apache flink 为什么SortPartition命令不停止在远程群集上运行?,apache-flink,Apache Flink,在我的程序中,我有一个简单的sortPartition命令,如下面的代码段所示。它在本地集群上运行良好 SortedData = myData.sortPartition(19, Order.ASCENDING).setParallelism(1); 我将程序提交到一个远程集群,但出现问题,执行未完成。似乎作业一直在运行,命令永远不会结束。 我的数据集只包含300k条记录和50M字节。如果我将数据集中的记录数减少到50k,则程序在远程集群上正常工作。显然,这里的内存不是问题。 我想知道,是什么

在我的程序中,我有一个简单的sortPartition命令,如下面的代码段所示。它在本地集群上运行良好

SortedData = myData.sortPartition(19, Order.ASCENDING).setParallelism(1);
我将程序提交到一个远程集群,但出现问题,执行未完成。似乎作业一直在运行,命令永远不会结束。 我的数据集只包含300k条记录和50M字节。如果我将数据集中的记录数减少到50k,则程序在远程集群上正常工作。显然,这里的内存不是问题。

我想知道,是什么导致了这样一个问题,以及解决这个问题的方法?

您等待这项工作完成了多长时间?远程集群有多大?哦,是的,太长了。你能在gist.github.com上复制并粘贴jobmanager和运行排序操作的任务管理器的日志吗?这是链接,我在日志中几分钟后取消了任务,很抱歉所有请求,你能分享你程序的代码吗?我怀疑collect()不起作用。您收集的()是否超过10 MB?我认为这是目前的极限。能否尝试在较小的数据集上调用collect()?是的,数据大小大于10MB。正如我在问题中提到的,如果我减少数据大小,它就会工作。50k的记录是8MB,但我只是尝试了100k的记录,这几乎是16MB,它没有。但在本地集群上一切都很好。