Apache spark 火花驱动程序内存超出存储内存

Apache spark 火花驱动程序内存超出存储内存,apache-spark,pyspark,Apache Spark,Pyspark,我不明白为什么在Spark UI中,驱动程序使用的存储内存(2.1GB)超过了总可用内存(1.5GB)。 当我使用与Spark 2.1.1相同的应用程序时,我没有相同的行为,Spark驱动程序内存只有几Mb。同样,使用相同的数据,应用程序的行为变得越来越慢 我的问题是: 使用的存储内存是一个累加,而不是当前使用的内存 是UI错误吗 这2.1Gb的数据是什么

我不明白为什么在Spark UI中,驱动程序使用的存储内存(2.1GB)超过了总可用内存(1.5GB)。 当我使用与Spark 2.1.1相同的应用程序时,我没有相同的行为,Spark驱动程序内存只有几Mb。同样,使用相同的数据,应用程序的行为变得越来越慢

我的问题是:

  • 使用的存储内存是一个累加,而不是当前使用的内存
  • 是UI错误吗
  • 这2.1Gb的数据是什么