Apache spark RDD的持久性

Apache spark RDD的持久性,apache-spark,rdd,Apache Spark,Rdd,考虑以下代码 val rdd1 = sc.textFile("...").persist() val rdd2 = rdd1.map(_.length).persist() val cnt = rdd2.count() val rdd3 = rdd1.map(_.split(" ")).persist() 调用rdd2.count()后,rdd1是否持久化?或者只有在对其调用操作时,rdd1才会持久化?rdd1才会在rdd2.count操作期间持久化。 您可以检查spark ui,以便更好地理

考虑以下代码

val rdd1 = sc.textFile("...").persist()
val rdd2 = rdd1.map(_.length).persist()
val cnt = rdd2.count()
val rdd3 = rdd1.map(_.split(" ")).persist()

调用
rdd2.count()
后,
rdd1
是否持久化?或者只有在对其调用操作时,
rdd1
才会持久化?

rdd1
才会在
rdd2.count
操作期间持久化。
您可以检查spark ui,以便更好地理解DAG

可能是正确执行操作、转换范式的一个想法。