Apache spark 无法广播大于8GB的表：Spark 2.3
我试图使用广播连接，但在Spark 2.3中出现以下错误。然而，同样的代码在Spark 2.2中运行良好 在检查数据帧的大小时，它只有50MB，我也将阈值设置为200MB。正如我上面提到的，同样的代码在Spark 2.2中运行良好Apache spark 无法广播大于8GB的表：Spark 2.3,apache-spark,apache-spark-sql,Apache Spark,Apache Spark Sql,我试图使用广播连接，但在Spark 2.3中出现以下错误。然而，同样的代码在Spark 2.2中运行良好 在检查数据帧的大小时，它只有50MB，我也将阈值设置为200MB。正如我上面提到的，同样的代码在Spark 2.2中运行良好 Error: "Cannot broadcast the table that is larger than 8GB". 但是，禁用广播效果良好 'spark.sql.autoBroadcastJoinThreshold': '-1' 你能帮忙吗
Error: "Cannot broadcast the table that is larger than 8GB".
'spark.sql.autoBroadcastJoinThreshold': '-1'