Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 广播和重新分区的数据帧的范围是什么?_Apache Spark_Join_Broadcast - Fatal编程技术网

Apache spark 广播和重新分区的数据帧的范围是什么?

Apache spark 广播和重新分区的数据帧的范围是什么?,apache-spark,join,broadcast,Apache Spark,Join,Broadcast,如果我有一个spark dataframerightdf~4gb,可以在连接中使用这部分代码: leftdf.joinbroadcastrightdf.repartition2?在广播之前重新分区rightdf是没有意义的。事实上,当您使用广播连接时,整个广播数据帧在您的情况下是rightdf,同时发送到集群中的每个节点 因此,在广播之前调用重新分区只会降低性能 你好,阿德里安。请检查这一部分。所以,您可以通过更详细的问题、您已经尝试过的代码以及更多内容来吸引更多的注意力。那么重新分区1呢?

如果我有一个spark dataframerightdf~4gb,可以在连接中使用这部分代码:
leftdf.joinbroadcastrightdf.repartition2?

在广播之前重新分区rightdf是没有意义的。事实上,当您使用广播连接时,整个广播数据帧在您的情况下是rightdf,同时发送到集群中的每个节点


因此,在广播之前调用重新分区只会降低性能

你好,阿德里安。请检查这一部分。所以,您可以通过更详细的问题、您已经尝试过的代码以及更多内容来吸引更多的注意力。那么重新分区1呢?