Apache spark 如何确定一个数据集将有多少个分区？

如果spar中有100GB的数据，那么会有多少个分区？

---

如果有人说我们有20个，那么内存就足够了吗？分区的数量取决于使用的数据源。对于使用HDFS作为存储的基于文件的数据源，分区的数量与块的数量相同。其他数据源可以以不同的方式报告此需求（基于它们自己的内部逻辑）。

分区的数量取决于所使用的数据源。对于使用HDFS作为存储的基于文件的数据源，分区的数量与块的数量相同。其他数据源可以以不同的方式报告此需求（基于其自身的内部逻辑）。

嗨，Prateek，wellcome。请阅读此链接。嗨，普拉蒂克，好的。请阅读此链接。