Apache spark Spark我可以在执行textFile时手动指定分区数吗
spark将根据输入文件的大小自动决定分区的数量。我有两个问题： 我可以指定分区的数量而不是让spark决定分区的数量吗Apache spark Spark我可以在执行textFile时手动指定分区数吗,apache-spark,text-files,hive-partitions,Apache Spark,Text Files,Hive Partitions,spark将根据输入文件的大小自动决定分区的数量。我有两个问题： 我可以指定分区的数量而不是让spark决定分区的数量吗 在进行重新分区时，shuffle有多糟糕？演出真的很贵吗？我的情况是，我需要重新分区为“1”，以写入一个拼花地板文件，分区为“31”。有多糟？为什么？重新分区和合并是两个函数，用于读取数据后重新分区 无法执行此操作，分区数由文件大小决定
在进行重新分区时，shuffle有多糟糕？演出真的很贵吗？我的情况是，我需要重新分区为“1”，以写入一个拼花地板文件，分区为“31”。有多糟？为什么？重新分区和合并是两个函数，用于读取数据后重新分区 无法执行此操作，分区数由文件大小决定