Apache spark Spark在Spark单机版中提交-所有内存都已转移到驱动程序

Apache spark Spark在Spark单机版中提交-所有内存都已转移到驱动程序,apache-spark,apache-spark-standalone,Apache Spark,Apache Spark Standalone,我已经设置了Spark独立群集,可以使用Spark submit提交作业: 火花提交\ --类等等,等等,我的类\ --主人spark://myaddress:6066 \ --执行器存储器8G\ --部署模式群集\ --执行器核心总数12\ /路径/to/jar/myjar.jar 问题是,当我同时发送多个作业时,比如说一次发送超过20个作业,前几个作业就成功完成了。其他所有人现在都在等待资源。我注意到所有可用的内存都被驱动程序占用了,所以在驱动程序部分,它们都在运行,但在运行应用程序部分

我已经设置了Spark独立群集,可以使用Spark submit提交作业:


火花提交\
--类等等,等等,我的类\
--主人spark://myaddress:6066 \
--执行器存储器8G\
--部署模式群集\
--执行器核心总数12\
/路径/to/jar/myjar.jar

问题是,当我同时发送多个作业时,比如说一次发送超过20个作业,前几个作业就成功完成了。其他所有人现在都在等待资源。我注意到所有可用的内存都被驱动程序占用了,所以在驱动程序部分,它们都在运行,但在运行应用程序部分,它们都处于等待状态

如何让spark单机版首先将内存分配给等待的执行器而不是提交的驱动程序

多谢各位

下面是我的spark-defaults.conf的摘录

星火大师spark://address:7077
spark.eventLog.enabled true
spark.eventLog.dir/path/tmp/sparkEventLog
spark.driver.memory 5g
spark.local.dir/path/tmp
spark.ui.port xxx

能否检查一下localhost:4040分配了多少驱动程序内存?能否检查一下localhost:4040分配了多少驱动程序内存?