Apache spark 如果其中一个节点已满,Spark广播变量会发生什么情况

Apache spark 如果其中一个节点已满,Spark广播变量会发生什么情况,apache-spark,pyspark,apache-spark-sql,Apache Spark,Pyspark,Apache Spark Sql,我刚刚开始使用spark,是个新手 假设我们广播了一个小表,同时一些节点已经满了,没有剩余的空间 如果由于内存错误,Spark无法复制广播变量,那么广播有何益处 spark将如何处理这种情况?在这种情况下,spark将与OOM一起崩溃。在这种情况下,与通过闭包传递数据的情况相比,它实际上并没有什么不同。为什么要广播小表?这样它就使用了Boradcast连接而不是sort merge连接,从而减少了混乱。

我刚刚开始使用spark,是个新手

假设我们广播了一个小表,同时一些节点已经满了,没有剩余的空间

如果由于内存错误,Spark无法复制广播变量,那么广播有何益处


spark将如何处理这种情况?

在这种情况下,spark将与OOM一起崩溃。在这种情况下,与通过闭包传递数据的情况相比,它实际上并没有什么不同。

为什么要广播小表?这样它就使用了Boradcast连接而不是sort merge连接,从而减少了混乱。