Dataframe 如何获取数据帧的分区数
我有一个数据帧,分区的数量从Dataframe 如何获取数据帧的分区数,dataframe,apache-spark,Dataframe,Apache Spark,我有一个数据帧,分区的数量从 df.rdd.getNumPartitions() 不同于 len(df.withColumn("partitionId", spark_partition_id()).select("partitionId").dropDuplicates().collect()) 知道为什么吗?我试过了,结果都一样。
df.rdd.getNumPartitions()
不同于
len(df.withColumn("partitionId", spark_partition_id()).select("partitionId").dropDuplicates().collect())
知道为什么吗?我试过了,结果都一样。