Apache flink IOException:状态的大小大于允许的最大内存备份状态

Apache flink IOException:状态的大小大于允许的最大内存备份状态,apache-flink,flink-streaming,Apache Flink,Flink Streaming,在运行简单的字数统计时,我面临以下IO异常 集群模式下apache flink上的应用程序 IOException:状态的大小大于允许的最大值 内存备份状态。尺寸=34521369,最大尺寸=5242880。考虑使用 不同的状态后端,如文件系统状态后端 我已经使用文件系统状态后端并配置了检查点 和状态后端目录 如何解决此问题 请注意,fsstatebend有点命名错误,因为它实际上使用堆作为状态,仅使用文件系统作为检查点。如果你有大量的状态,你应该考虑: 增加分配给JVM的堆 使用RocksDB

在运行简单的字数统计时,我面临以下IO异常 集群模式下apache flink上的应用程序

IOException:状态的大小大于允许的最大值 内存备份状态。尺寸=34521369,最大尺寸=5242880。考虑使用 不同的状态后端,如文件系统状态后端

我已经使用文件系统状态后端并配置了检查点 和状态后端目录


如何解决此问题

请注意,fsstatebend有点命名错误,因为它实际上使用堆作为状态,仅使用文件系统作为检查点。如果你有大量的状态,你应该考虑:

增加分配给JVM的堆 使用RocksDB状态后端,它是堆外的,使用存储 在其他计算机上的其他任务管理器之间分配作业
如何配置状态后端?能否共享堆栈跟踪?这实际上不应该发生在fsstatebend的情况下。