Apache flink ApacheFlink,大型grap-submisson的工作在集群上超时

Apache flink ApacheFlink,大型grap-submisson的工作在集群上超时,apache-flink,flink-streaming,Apache Flink,Flink Streaming,我们试图用相当复杂的逻辑为价格聚合构建Flink作业 例如,以前的版本有如下图表 在另一次开发迭代之后,我给工作增加了更多的复杂性。 新版本在IDE中运行良好,但是,部署到集群失败 原因:org.apache.flink.runtime.client.JobClientActorSubmissionTimeoutException:向JobManager提交作业超时 如果我重新配置作业(降低图形复杂度),它将毫无问题地部署 我的问题是: 提交到独立集群时,作业图的大小和复杂性是否有任何限制 是否

我们试图用相当复杂的逻辑为价格聚合构建Flink作业

例如,以前的版本有如下图表

在另一次开发迭代之后,我给工作增加了更多的复杂性。 新版本在IDE中运行良好,但是,部署到集群失败

原因:org.apache.flink.runtime.client.JobClientActorSubmissionTimeoutException:向JobManager提交作业超时

如果我重新配置作业(降低图形复杂度),它将毫无问题地部署

我的问题是:

  • 提交到独立集群时,作业图的大小和复杂性是否有任何限制
  • 是否有可能禁用图形表示(我怀疑问题是由图形视图引起的-我的工作在本地运行)
  • 是否有任何调试工具来了解作业提交时发生了什么,以及为什么会超时
  • 提前谢谢


    解决方案是使用最新的flink版本(撰写本文时为1.5)。

    您使用的是哪个版本的flink?Flink 1.5还存在这个问题吗?如果是这样,请与我们共享cli和群集日志好吗?@TillRohtmann我们使用的是flink 1.4.1,但升级到1.5解决了问题。