Hadoop Spark数据帧松散分区

我在读取spark数据帧时发现了这个奇怪的问题。我将数据帧重新划分为50k个分区。然而，当我读取并对数据帧执行计数操作时，我发现在使用spark 2.0时，底层rdd只有2143个分区

因此，我转到保存重新分区数据的路径，发现

hfs -ls /repartitionedData/ | wc -l
50476

因此，它在保存数据时创建了50k分区

但是在spark 2.0中

val d = spark.read.parquet("repartitionedData")
d.rdd.getNumPartitions
res4: Int = 2143

但是用spark 1.5

val d = spark.read.parquet("repartitionedData")
d.rdd.partitions.length
res4: Int = 50474

---

有人能帮我解决这个问题吗？

这并不是因为您丢失了数据，Spark只是更改了分区的数量。将拼花地板文件合并到较少的分区中，并重新排序数据

---

当Spark升级到版本

2.0

时，这种情况发生了变化。您可以找到一些相关的bug报告。

谢谢。不，当然我没有丢失数据，但是我混淆了分区的变化。