Apache spark 在应用程序崩溃时使用RDD.checkpoint恢复RDD

我正在编写一个Spark（非流媒体）应用程序，它有许多迭代。我希望在每第n次迭代时检查我的rdd，这样如果我的应用程序崩溃，我可以从最后一个检查点重新运行它。我在这个用例中找到的所有参考资料似乎都是针对Spark Streaming应用程序的，在这些应用程序中，一个应用程序运行可以轻松保存整个程序的完整检查点，然后由另一个应用程序读取（getOrCreate）

---

如何在常规Spark中读取检查点rdd？

如果您询问支持和记录的方法，那么答案是否定的。RDD checkpoint是一个不同的工具，专门解决沿袭问题，而不是故障恢复。@zero323我对您的评论感到困惑，因为我认为尊敬的JL contributor从检查点文件中恢复RDD暗示了Harel G的帖子所说的whta。看见他提供的例子适用于同一个应用程序，但不适用于多个应用程序-我明白了。