Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark ApacheSpark:指向父RDD的引用指针_Apache Spark_Spark Streaming - Fatal编程技术网

Apache spark ApacheSpark:指向父RDD的引用指针

Apache spark ApacheSpark:指向父RDD的引用指针,apache-spark,spark-streaming,Apache Spark,Spark Streaming,我知道SPARK维护RDD的沿袭信息。假设我有一个RDD“a”,并对其使用一些转换,我会生成一个新的RDD“b”。在这种情况下,“a”是“b”的父RDD。是否可以通过引用父指针从RDD“b”返回RDD“a” 谢谢 这取决于真正的问题是什么: 是-例如,如果您扩展RDD。这对于compute方法的大多数实现都是必需的 否-依赖项不可公开访问,因此无法从RDD实例获取父项

我知道SPARK维护RDD的沿袭信息。假设我有一个RDD“a”,并对其使用一些转换,我会生成一个新的RDD“b”。在这种情况下,“a”是“b”的父RDD。是否可以通过引用父指针从RDD“b”返回RDD“a”


谢谢

这取决于真正的问题是什么:

  • 是-例如,如果您扩展RDD。这对于
    compute
    方法的大多数实现都是必需的
  • 否-依赖项不可公开访问,因此无法从RDD实例获取父项