Apache spark spark检查点：错误java.io.FileNotFoundException

我有一个当前的管道，在那里我对我的数据帧进行了几次转换。

插入检查点以确保可接受的执行时间非常重要

但是，我不时从任何检查点收到此错误：

Job aborted due to stage failure: Task creation failed: java.io.FileNotFoundException

No such file or directory: /checkpoints/...../rdd-1002/part-00003

---

您能提出建议吗。

它与本期类似吗？ 当一个失败的进程试图恢复时，一个复杂的逻辑正在覆盖RDD

---

与本期类似吗？ 当一个失败的进程试图恢复时，一个复杂的逻辑正在覆盖RDD

---

是的，但给出的解决方案不起作用，也不是公认的答案。您可能需要先检查数据，看看是什么导致了错误。解决此问题的一种可能方法是使用一个好的

try

、

catch

或

try

，以便在逻辑中处理错误，以防止代码块出错，因为您只是使用检查点进行时间管理。是的，但给出的解决方案不起作用，此外，这不是一个公认的答案。您可能需要先检查数据，看看是什么导致了错误。解决此问题的一种可能方法是使用良好的

try

、

catch

或

try

，以便在逻辑中处理错误，以防止代码块出错，因为您只是使用检查点进行时间管理。