Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 如何取消使用broadcastjoin广播的表的持久化?_Apache Spark_Apache Spark Sql - Fatal编程技术网

Apache spark 如何取消使用broadcastjoin广播的表的持久化?

Apache spark 如何取消使用broadcastjoin广播的表的持久化?,apache-spark,apache-spark-sql,Apache Spark,Apache Spark Sql,Spark的广播连接将向每个执行者广播数据副本。一旦连接操作完成,我们是否应该取消每个执行器上的副本?还是spark在内部处理它?spark懒散地完成所有转换。。。加入不是一个动作。。。。除非并直到您执行任何操作,如(计数、保存…等),否则将不会执行join。。。同样,这取决于业务逻辑在哪里取消父D的持久性。。。火花内部处理?对当内存不足或内存不足时,垃圾收集器将删除旧的和未使用的数据集,并为进一步执行创造空间,比如我们广播一个大小为2GB的表。Spark何时在执行器之间取消广播数据的持久化?当

Spark的广播连接将向每个执行者广播数据副本。一旦连接操作完成,我们是否应该取消每个执行器上的副本?还是spark在内部处理它?

spark懒散地完成所有转换。。。加入不是一个动作。。。。除非并直到您执行任何操作,如(计数、保存…等),否则将不会执行join。。。同样,这取决于业务逻辑在哪里取消父D的持久性。。。火花内部处理?对当内存不足或内存不足时,垃圾收集器将删除旧的和未使用的数据集,并为进一步执行创造空间,比如我们广播一个大小为2GB的表。Spark何时在执行器之间取消广播数据的持久化?当操作完成或RAM已满时执行GC?当操作完成或RAM已满时执行GC?对除非和直到你调用unpersist,它将保留在内存中。。。在程序执行过程中,如果RAM使用率很高,GC将清除过时的数据集。