Apache spark 垃圾收集火花流检查点

Apache spark 垃圾收集火花流检查点,apache-spark,spark-streaming,Apache Spark,Spark Streaming,使用Spark流/数据流,是否可以垃圾收集(删除)旧检查点?(最好使用Scala示例。)框架会自动为您删除检查点。你为什么要手动这么做?所以。。。间隔设置检查点的原因是由于设置检查点所需的时间?(为什么不一直设置检查点?)。它们的成本很高,因为它们需要序列化内存中的数据并将其存储到您喜欢的任何持久性存储器中。如果应用程序崩溃,可以使用最新的检查点数据进行恢复。

使用Spark流/数据流,是否可以垃圾收集(删除)旧检查点?(最好使用Scala示例。)

框架会自动为您删除检查点。你为什么要手动这么做?所以。。。间隔设置检查点的原因是由于设置检查点所需的时间?(为什么不一直设置检查点?)。它们的成本很高,因为它们需要序列化内存中的数据并将其存储到您喜欢的任何持久性存储器中。如果应用程序崩溃,可以使用最新的检查点数据进行恢复。