Apache spark 广播和重新分区的数据帧的范围是什么?
如果我有一个spark dataframerightdf~4gb,可以在连接中使用这部分代码:Apache spark 广播和重新分区的数据帧的范围是什么?,apache-spark,join,broadcast,Apache Spark,Join,Broadcast,如果我有一个spark dataframerightdf~4gb,可以在连接中使用这部分代码: leftdf.joinbroadcastrightdf.repartition2?在广播之前重新分区rightdf是没有意义的。事实上,当您使用广播连接时,整个广播数据帧在您的情况下是rightdf,同时发送到集群中的每个节点 因此,在广播之前调用重新分区只会降低性能 你好,阿德里安。请检查这一部分。所以,您可以通过更详细的问题、您已经尝试过的代码以及更多内容来吸引更多的注意力。那么重新分区1呢?
leftdf.joinbroadcastrightdf.repartition2?在广播之前重新分区rightdf是没有意义的。事实上,当您使用广播连接时,整个广播数据帧在您的情况下是rightdf,同时发送到集群中的每个节点
因此,在广播之前调用重新分区只会降低性能 你好,阿德里安。请检查这一部分。所以,您可以通过更详细的问题、您已经尝试过的代码以及更多内容来吸引更多的注意力。那么重新分区1呢?