Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark RDD.union vs SparkContex.union_Apache Spark - Fatal编程技术网
Fatal编程技术网

Apache spark RDD.union vs SparkContex.union

apache-spark

Apache spark RDD.union vs SparkContex.union,apache-spark,Apache Spark,两者的区别是什么 reduce(lambda x,y: x.union(y), myRDDlist) 哪一个呼叫和 哪个电话 它们编译成相同的代码吗？如果您有两个RDD，它们是等价的 减少RDD列表并调用RDD.union将产生多个嵌套的UnionRDD（相互引用），其中对SparkContext.union的调用将只产生一个UnionRDD sc.union(myRDDlist)

两者的区别是什么

reduce(lambda x,y: x.union(y), myRDDlist)
哪一个呼叫和

哪个电话

它们编译成相同的代码吗？

如果您有两个RDD，它们是等价的

减少RDD列表并调用RDD.union将产生多个嵌套的UnionRDD（相互引用），其中对SparkContext.union的调用将只产生一个UnionRDD

sc.union(myRDDlist)