Apache spark 并行排序工作节点上的PySpark数据帧

我在主节点上有一个分布式spark数据帧列表，我想在单独的工作节点（我的spark cluster conatins 4节点）上并行地对每个数据帧进行排序。可以使用map（）或flatMap（）吗？或者别的什么。谢谢

您可以使用

sortWithinPartitions

方法为每个分区并行排序数据。每个工作者都有自己的分区数据

根据我对1000000个随机编号的列表的经验，

sortWithinPartitions

将性能提升了2倍

//Create a list with size 1000000 of random nos.
      spark.sparkContext.parallelize(for (i <- 1 to 1000000) yield  r.nextInt(1000000) )
        .toDF // Convert to dataframe with single column 'value'
        .sortWithinPartitions(col("value"))  // Sort the partition in parallel i.e. similair to sortin data on each worker
        .sort(col("value"))                  // Final sort on complete data set
        .map(r=>r.getInt(0)).collectAsList().toSeq // Collecting the result in list

//创建一个大小为1000000的随机编号列表。
spark.sparkContext.parallelize（对于（i r.getInt（0））.collectAsList（）.toSeq//在列表中收集结果

谢谢！我会试试的。