Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/java/331.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java 设置驾驶员记忆时,火花作业卡在提交位置>;5 GB_Java_Apache Spark - Fatal编程技术网

Java 设置驾驶员记忆时,火花作业卡在提交位置>;5 GB

Java 设置驾驶员记忆时,火花作业卡在提交位置>;5 GB,java,apache-spark,Java,Apache Spark,我正在使用独立群集模式开发Spark。当我在驱动程序线程中获得空间时,我需要增加驱动程序内存。如果发现在将驱动程序内存设置为>5 GB时,提交的作业在驱动程序中停留在提交位置,并且应用程序从未启动。 我的机器中有64 GB内存和16个内核。 我在spark Master UI的spark default.conf中设置了驱动程序内存,驱动程序应该在其中一个执行器中执行。这就是为什么它的内存不应该超过执行器内存。我发现在设置驱动程序内存时会发生这种情况,而执行器的内存则远远超过驱动程序内存。但还是

我正在使用独立群集模式开发Spark。当我在驱动程序线程中获得空间时,我需要增加驱动程序内存。如果发现在将驱动程序内存设置为>5 GB时,提交的作业在驱动程序中停留在提交位置,并且应用程序从未启动。
我的机器中有64 GB内存和16个内核。

我在spark Master UI的spark default.conf中设置了驱动程序内存,驱动程序应该在其中一个执行器中执行。这就是为什么它的内存不应该超过执行器内存。

我发现在设置驱动程序内存时会发生这种情况,而执行器的内存则远远超过驱动程序内存。但还是不明白他们之间是什么关系!