Apache spark ApacheSpark:指向父RDD的引用指针

Apache spark ApacheSpark:指向父RDD的引用指针,apache-spark,spark-streaming,Apache Spark,Spark Streaming,我知道SPARK维护RDD的沿袭信息。假设我有一个RDD“a”,并对其使用一些转换,我会生成一个新的RDD“b”。在这种情况下,“a”是“b”的父RDD。是否可以通过引用父指针从RDD“b”返回RDD“a” 谢谢 这取决于真正的问题是什么: 是-例如,如果您扩展RDD。这对于compute方法的大多数实现都是必需的 否-依赖项不可公开访问,因此无法从RDD实例获取父项

我知道SPARK维护RDD的沿袭信息。假设我有一个RDD“a”,并对其使用一些转换,我会生成一个新的RDD“b”。在这种情况下,“a”是“b”的父RDD。是否可以通过引用父指针从RDD“b”返回RDD“a”


谢谢

这取决于真正的问题是什么:

  • 是-例如,如果您扩展RDD。这对于
    compute
    方法的大多数实现都是必需的
  • 否-依赖项不可公开访问,因此无法从RDD实例获取父项