Apache flink 什么时候清理flink检查点文件?

Apache flink 什么时候清理flink检查点文件?,apache-flink,flink-streaming,Apache Flink,Flink Streaming,我有一份流媒体工作: 从Kafka-->读取的数据将事件映射到其他一些数据流-->键(0)-->减少15秒的时间窗口处理时间,并写回Redis接收器 启动时,一切都很好。问题是,过了一段时间,磁盘空间被我认为是链接检查点的东西填满了 我的问题是,在链接作业运行时是否应该清除/删除检查点?找不到有关此的任何资源 我使用的文件系统后端可以写入/tmp(无hdfs设置)Flink在运行时清理检查点文件。有一些角落的情况下,它“忘记”清理所有文件,以防系统故障。 但对于Flink 1.3,社区正在努力解

我有一份流媒体工作:

从Kafka-->读取的数据将事件映射到其他一些数据流-->键(0)-->减少15秒的时间窗口处理时间,并写回Redis接收器

启动时,一切都很好。问题是,过了一段时间,磁盘空间被我认为是链接检查点的东西填满了

我的问题是,在链接作业运行时是否应该清除/删除检查点?找不到有关此的任何资源


我使用的文件系统后端可以写入/tmp(无hdfs设置)

Flink在运行时清理检查点文件。有一些角落的情况下,它“忘记”清理所有文件,以防系统故障。 但对于Flink 1.3,社区正在努力解决所有这些问题


在您的情况下,我假设您没有足够的磁盘空间将windows的数据存储在磁盘上。

Flink在运行时清理检查点文件。有一些角落的情况下,它“忘记”清理所有文件,以防系统故障。 但对于Flink 1.3,社区正在努力解决所有这些问题


在您的情况下,我假设您没有足够的磁盘空间将windows的数据存储在磁盘上。

默认情况下,检查点不会在外部持久化,仅用于从故障中恢复作业。当程序取消时,它们将被删除

如果您使用外部化的检查点,那么它有两个策略

外部化检查点清理。取消时保留检查点:取消作业时保留外部化检查点。请注意,在这种情况下,取消后必须手动清除检查点状态

外部化检查点清理。取消时删除检查点:取消作业时删除外部化检查点。检查点状态仅在作业失败时可用

欲知详情

默认情况下,检查点不会在外部持久化,仅用于从故障中恢复作业。当程序取消时,它们将被删除

如果您使用外部化的检查点,那么它有两个策略

外部化检查点清理。取消时保留检查点:取消作业时保留外部化检查点。请注意,在这种情况下,取消后必须手动清除检查点状态

外部化检查点清理。取消时删除检查点:取消作业时删除外部化检查点。检查点状态仅在作业失败时可用

欲知详情

在磁盘空间用完多少时间之后?在磁盘空间用完多少时间之后?