Apache spark spark scala内存管理问题

Apache spark spark scala内存管理问题,apache-spark,apache-spark-sql,Apache Spark,Apache Spark Sql,我正在尝试提交具有以下配置的spark scala作业: spark-submit --class abcd --queue new --master yarn --executor-cores 1 --executor-memory 4g --driver-memory 2g --num-executors 1 为队列分配的空间是700GB,它占用了整个700GB并正在运行。 有没有办法只限制到100GB 提前谢谢

我正在尝试提交具有以下配置的spark scala作业:

spark-submit --class abcd --queue new --master yarn --executor-cores 1 --executor-memory 4g --driver-memory 2g --num-executors 1
为队列分配的空间是700GB,它占用了整个700GB并正在运行。 有没有办法只限制到100GB

提前谢谢