Apache flink 检查点应设置多长时间?;

Apache flink 检查点应设置多长时间?;,apache-flink,flink-streaming,Apache Flink,Flink Streaming,我有一项工作,使用flink接收数据并通过拼花将文件格式发送到HDFS,因为我在flink中使用StreamFileLink,只有检查点成功,文件才会完成。我想知道应该为检查点设置多长时间,可以参考什么样的参数?检查点间隔将决定 如果出现故障,可能需要重新处理多少数据 流文件接收器写入拼花输出文件的频率(这与并行性一起将影响它们的大小) 考虑到您对更长的恢复时间、其他进程等待这些文件最终确定的延迟以及更大的输出文件的容忍度,请选择任何有意义的选项 检查点也会给集群带来一些开销。更频繁的检查点将影

我有一项工作,使用flink接收数据并通过拼花将文件格式发送到HDFS,因为我在flink中使用StreamFileLink,只有检查点成功,文件才会完成。我想知道应该为检查点设置多长时间,可以参考什么样的参数?

检查点间隔将决定

  • 如果出现故障,可能需要重新处理多少数据
  • 流文件接收器写入拼花输出文件的频率(这与并行性一起将影响它们的大小)
  • 考虑到您对更长的恢复时间、其他进程等待这些文件最终确定的延迟以及更大的输出文件的容忍度,请选择任何有意义的选项

    检查点也会给集群带来一些开销。更频繁的检查点将影响性能