Apache spark 无法从spark submit向AWS EMR give分配内存错误

我通过Apache Livy连续向我的EMR集群发送了10个spark提交请求，但spark在第7次提交时给出了以下错误，随后所有提交都出现了错误：

“java.io.IOException:无法运行程序 \/usr/lib/spark/bin/spark submit\：错误=12，无法分配内存

---

是否有任何方法可以使spark submit进入队列，并且只有在获得资源后才会执行，这样我的作业才不会失败。

“Java运行时环境的内存不足，无法继续”。此警告表示主节点上的可用内存不足，无法运行Java环境。如果主节点的内存负载很重，则这种行为很常见，这会导致其他使用内存的进程的内存不足

---

为了解决此问题，建议启动具有更高实例类型的EMR群集，以根据群集的要求利用更多内存。

在EMR上启用ganglia，并观察主节点（livy正在运行）中的可用内存；当节点内存超过90%时会发生这种情况吗--这就是livy的问题——在这种情况下，尝试将livy提交的文件隔开，这样你在5秒内提交的文件不会超过1或2个；看看这是否有帮助