Apache flink 什么时候清理flink检查点文件?
我有一份流媒体工作: 从Kafka-->读取的数据将事件映射到其他一些数据流-->键(0)-->减少15秒的时间窗口处理时间,并写回Redis接收器 启动时,一切都很好。问题是,过了一段时间,磁盘空间被我认为是链接检查点的东西填满了 我的问题是,在链接作业运行时是否应该清除/删除检查点?找不到有关此的任何资源Apache flink 什么时候清理flink检查点文件?,apache-flink,flink-streaming,Apache Flink,Flink Streaming,我有一份流媒体工作: 从Kafka-->读取的数据将事件映射到其他一些数据流-->键(0)-->减少15秒的时间窗口处理时间,并写回Redis接收器 启动时,一切都很好。问题是,过了一段时间,磁盘空间被我认为是链接检查点的东西填满了 我的问题是,在链接作业运行时是否应该清除/删除检查点?找不到有关此的任何资源 我使用的文件系统后端可以写入/tmp(无hdfs设置)Flink在运行时清理检查点文件。有一些角落的情况下,它“忘记”清理所有文件,以防系统故障。 但对于Flink 1.3,社区正在努力解
我使用的文件系统后端可以写入/tmp(无hdfs设置)Flink在运行时清理检查点文件。有一些角落的情况下,它“忘记”清理所有文件,以防系统故障。 但对于Flink 1.3,社区正在努力解决所有这些问题
在您的情况下,我假设您没有足够的磁盘空间将windows的数据存储在磁盘上。Flink在运行时清理检查点文件。有一些角落的情况下,它“忘记”清理所有文件,以防系统故障。 但对于Flink 1.3,社区正在努力解决所有这些问题
在您的情况下,我假设您没有足够的磁盘空间将windows的数据存储在磁盘上。默认情况下,检查点不会在外部持久化,仅用于从故障中恢复作业。当程序取消时,它们将被删除 如果您使用外部化的检查点,那么它有两个策略 外部化检查点清理。取消时保留检查点:取消作业时保留外部化检查点。请注意,在这种情况下,取消后必须手动清除检查点状态 外部化检查点清理。取消时删除检查点:取消作业时删除外部化检查点。检查点状态仅在作业失败时可用 欲知详情
默认情况下,检查点不会在外部持久化,仅用于从故障中恢复作业。当程序取消时,它们将被删除 如果您使用外部化的检查点,那么它有两个策略 外部化检查点清理。取消时保留检查点:取消作业时保留外部化检查点。请注意,在这种情况下,取消后必须手动清除检查点状态 外部化检查点清理。取消时删除检查点:取消作业时删除外部化检查点。检查点状态仅在作业失败时可用 欲知详情
在磁盘空间用完多少时间之后?在磁盘空间用完多少时间之后?