Java 设置驾驶员记忆时,火花作业卡在提交位置>;5 GB
我正在使用独立群集模式开发Spark。当我在驱动程序线程中获得空间时,我需要增加驱动程序内存。如果发现在将驱动程序内存设置为>5 GB时,提交的作业在驱动程序中停留在提交位置,并且应用程序从未启动。Java 设置驾驶员记忆时,火花作业卡在提交位置>;5 GB,java,apache-spark,Java,Apache Spark,我正在使用独立群集模式开发Spark。当我在驱动程序线程中获得空间时,我需要增加驱动程序内存。如果发现在将驱动程序内存设置为>5 GB时,提交的作业在驱动程序中停留在提交位置,并且应用程序从未启动。 我的机器中有64 GB内存和16个内核。 我在spark Master UI的spark default.conf中设置了驱动程序内存,驱动程序应该在其中一个执行器中执行。这就是为什么它的内存不应该超过执行器内存。我发现在设置驱动程序内存时会发生这种情况,而执行器的内存则远远超过驱动程序内存。但还是
我的机器中有64 GB内存和16个内核。
我在spark Master UI的spark default.conf中设置了驱动程序内存,驱动程序应该在其中一个执行器中执行。这就是为什么它的内存不应该超过执行器内存。我发现在设置驱动程序内存时会发生这种情况,而执行器的内存则远远超过驱动程序内存。但还是不明白他们之间是什么关系!