Apache spark 火花左外连接内存问题
我有一个Spark作业，它给了我一个Java.lang.OutOfMemoryError：Java堆空间（或一些GC开销） 它出现在一个任务阶段，其中完成任务的静态数据显示75%的内存和磁盘溢出为0，但最大值分别为1732.5 MB和145.5 MB 我很确定我有一把钥匙，它代表了在左外线连接中超过70%的线路 在执行此联接时，是否有方法将与此键关联的值分散到多个分区上Apache spark 火花左外连接内存问题,apache-spark,join,memory,Apache Spark,Join,Memory,我有一个Spark作业，它给了我一个Java.lang.OutOfMemoryError：Java堆空间（或一些GC开销） 它出现在一个任务阶段，其中完成任务的静态数据显示75%的内存和磁盘溢出为0，但最大值分别为1732.5 MB和145.5 MB 我很确定我有一把钥匙，它代表了在左外线连接中超过70%的线路 在执行此联接时，是否有方法将与此键关联的值分散到多个分区上 谢谢根据数据大小，您可以尝试广播连接（基本上是地图连接） 根据数据大小，您可以尝试广播连接（基本上是地图连接）
谢谢根据数据大小，您可以尝试广播连接（基本上是地图连接）
根据数据大小，您可以尝试广播连接（基本上是地图连接）