Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark Spark广播变量使用寿命_Apache Spark_Spark Streaming - Fatal编程技术网

Apache spark Spark广播变量使用寿命

Apache spark Spark广播变量使用寿命,apache-spark,spark-streaming,Apache Spark,Spark Streaming,我正在运行spark流媒体作业,作为其中的一部分,我正在创建多个广播变量 所以,我有两个问题。 1.是否有任何函数可以给出所有广播变量的列表,如spark.getPersistentRDDs,它列出了所有持久化RDD。 2.如果我们不销毁Spark广播变量,它们是否会在一段时间内未使用后被Spark删除 Spark不提供列出所有广播变量(如getPersistentRDDs)的函数,但另一种解决方案是,每当创建广播变量时,将其存储在列表/队列中以供将来参考。 Spark有ContextClean

我正在运行spark流媒体作业,作为其中的一部分,我正在创建多个广播变量

所以,我有两个问题。 1.是否有任何函数可以给出所有广播变量的列表,如spark.getPersistentRDDs,它列出了所有持久化RDD。 2.如果我们不销毁Spark广播变量,它们是否会在一段时间内未使用后被Spark删除

Spark不提供列出所有广播变量(如getPersistentRDDs)的函数,但另一种解决方案是,每当创建广播变量时,将其存储在列表/队列中以供将来参考。 Spark有ContextCleaner,它以周期性间隔运行,以删除未使用的广播变量。
那么,有没有办法触发ContextClear?如果没有,你知道火花多久触发一次吗?此外,广播变量首先在右侧的驱动程序内存中创建。他们使用哪部分内存?堆内存还是非堆内存?1。上下文清理器是私有类,因此无法访问它。2.创建sparkContext后会立即创建,停止sparkContext后会立即停止。它一直在无限循环中运行。它为每个RDD/Broadcast_变量维护弱引用,并在引用超出应用范围时进行检查,从而启动清理任务。3.不确定