Apache spark pyspark:并行化和收集顺序保持
对于python中的spark,Apache spark pyspark:并行化和收集顺序保持,apache-spark,pyspark,Apache Spark,Pyspark,对于python中的spark,sc.parallelize()和collect()操作是否保持顺序? 例如,如果我有一个元素列表x,则将sc.parallelize(x).collect()返回一个元素列表,其顺序与x的顺序完全相同?并行化和collect保留顺序。Spark中的大多数方法都没有。参考文档?
sc.parallelize()
和collect()
操作是否保持顺序?
例如,如果我有一个元素列表
x
,则将sc.parallelize(x).collect()
返回一个元素列表,其顺序与x
的顺序完全相同?并行化和collect
保留顺序。Spark中的大多数方法都没有。参考文档?