Apache spark zeppelin java.lang.OutOfMemoryError:超出GC开销限制

我在zeppelin org.apache.spark.SparkException中收到一个错误：作业中止。由于以下原因导致的描述：java.lang.OutOfMemoryError:超出了GC开销限制

Spark监控显示GC几乎占用了所有的时间：

我开始调查，发现问题并不是齐柏林飞艇的低效任务，而是我们如何运行spark。齐柏林飞艇提供内置spark，使用外部sparkyou的方法可以在conf/Zeppelin-env.sh或齐柏林飞艇gui中设置spark_主页。当我使用内置的spark时，一切都很好，但对于外部spark，我得到的GC开销限制超过了同一任务的异常

---

运行spark的这两种方法之间有什么区别？我如何修复超出异常的GC开销限制？

区别在于驱动程序的可用内存。我是通过zeppelin-解释器-spark.log发现的：memorystore是从容量开始的。。。。当我在spark中使用bult时，它是2004.6 MB，而外部spark是366.3 MB

所以，我通过在齐柏林飞艇gui中设置spark.driver.memory来增加驱动程序的可用内存。它解决了这个问题