Scala 请参阅Spark数据帧的分区信息_Scala_Apache Spark_Dataframe_Rdd

Scala 请参阅Spark数据帧的分区信息

scala apache-spark dataframe

Scala 请参阅Spark数据帧的分区信息,scala,apache-spark,dataframe,rdd,Scala,Apache Spark,Dataframe,Rdd,一个Spark数据帧可以有一个分区数组，如下所示： > df.rdd.partitions df.write.option("header", "true").csv("/tmp/foobar") 有没有办法获得关于分区的更多信息？特别是，我希望看到分区键和分区边界（分区中的第一个和最后一个元素）这只是为了更好地理解数据是如何组织的这就是我所尝试的： > df.partitions.rdd.head 但是这个对象只有属性和方法equalshashCode和index如果数据

一个Spark

数据帧可以有一个分区数组，如下所示：
> df.rdd.partitions

df.write.option("header", "true").csv("/tmp/foobar")

有没有办法获得关于分区的更多信息？特别是，我希望看到分区键和分区边界（分区中的第一个和最后一个元素）
这只是为了更好地理解数据是如何组织的
这就是我所尝试的：
> df.partitions.rdd.head

但是这个对象只有属性和方法equals
hashCode
和index
如果数据不是太大，可以按如下方式将它们写入磁盘：
> df.rdd.partitions

df.write.option("header", "true").csv("/tmp/foobar")

给定的目录必须不存在