Apache spark 停止特定的火花动作

比如说我有一份很有活力的工作

val df1 = spark.read.csv(file1)
val df2 = spark.read.csv(file1)

df1.filter(...).join(df2, df1('id') === df1('fkey'),"inner"))

---

我知道我可以使用

spark.stop（）

停止作业，但是否可以在给定操作上暂停此类spark作业，例如文件读取df1，然后再继续？

spark执行模型被称为“惰性”，这意味着在调用其中一个操作之前，它不会开始读取、转换和加入dfs。你能稍微澄清一下你的问题吗？是的，我知道lazy，假设它确实开始执行，并且它处于某个阶段，比如说它正在将数据读入3个分区，现在的问题是是否可以停止此操作，并在同一个位置恢复它。我想我可以试试利用快照。我明白了。。。虽然

SparkContext

提供了取消作业、作业组或阶段（）的方法，但我不知道Spark中有暂停/恢复的概念。感谢链接，似乎有一个用于取消阶段的API，可以尝试一下