Apache spark spark是如何处理驾驶员记忆的？它使用的空间比分配的多_Apache Spark_Pyspark_Spark Streaming

Apache spark spark是如何处理驾驶员记忆的？它使用的空间比分配的多

apache-spark pyspark

Apache spark spark是如何处理驾驶员记忆的？它使用的空间比分配的多,apache-spark,pyspark,spark-streaming,Apache Spark,Pyspark,Spark Streaming,如图所示，（驱动程序的）存储内存受到5.2g的限制，spark怎么可能超过36.5g 这种内存分配是如何进行的？spark是否在默认设置下使用除RAM之外的磁盘？如UI所示，它使用16.5g的磁盘空间（磁盘空间使用的限制是什么？）您的第一个问题：这种内存分配是如何进行的？spark是否在默认设置下使用除RAM之外的磁盘对。请阅读有关区块管理器的信息。正如它指出的那样 BlockManager管理可表示缓存RDD分区、中间无序输出、广播等的块的存储。它也是一个BlockExcitionHan

如图所示，（驱动程序的）存储内存受到5.2g的限制，spark怎么可能超过36.5g

这种内存分配是如何进行的？spark是否在默认设置下使用除RAM之外的磁盘？如UI所示，它使用16.5g的磁盘空间（磁盘空间使用的限制是什么？）

您的第一个问题：

这种内存分配是如何进行的？spark是否在默认设置下使用除RAM之外的磁盘

对。请阅读有关区块管理器的信息。正如它指出的那样

BlockManager管理可表示缓存RDD分区、中间无序输出、广播等的块的存储。它也是一个BlockExcitionHandler，可从内存中删除块并将其存储在磁盘上（如果适用）

你的第二个问题：

磁盘空间使用的限制是什么

据我所知，没有限制。如果没有足够的空间，遗嘱执行人就会开始死亡。有关详细信息，请参阅。