Apache spark 在Spark中,我们如何默认联合后的分区数?

Apache spark 在Spark中,我们如何默认联合后的分区数?,apache-spark,apache-spark-sql,Apache Spark,Apache Spark Sql,是否有spark conf属性可用于默认spark中UnionAll操作后的分区数。。在连接和聚合的情况下,spark.sql.shuffle.partitions值用作默认分区大小,我们是否有类似的属性来限制UnionAll操作后的分区数。。我现在看到的问题是,如果我将数据帧df1连接到df2,生成的分区数是df1.partitions+df2.partitions,我正在寻找一种解决方案来限制程序中所有联合的生成分区数。您使用的是哪种编程语言?Scala编程语言

是否有spark conf属性可用于默认spark中UnionAll操作后的分区数。。在连接和聚合的情况下,spark.sql.shuffle.partitions值用作默认分区大小,我们是否有类似的属性来限制UnionAll操作后的分区数。。我现在看到的问题是,如果我将数据帧df1连接到df2,生成的分区数是df1.partitions+df2.partitions,我正在寻找一种解决方案来限制程序中所有联合的生成分区数。

您使用的是哪种编程语言?Scala编程语言