Java 我可以换Spark';运行时的执行器内存?

Java 我可以换Spark';运行时的执行器内存?,java,scala,hadoop,apache-spark,yarn,Java,Scala,Hadoop,Apache Spark,Yarn,是否可以在Spark中在运行时更改executor内存的值?我想这样做的原因是,对于某些映射任务,我希望纱线调度器将每个任务放在单独的节点上。通过将executor内存增加到接近一个节点的总内存,我确保它们分布在每个节点上。稍后,我想在每个节点上运行几个任务,因此我会降低它们的执行器内存。不,您不能 每个执行器都在自己的JVM上启动,您不能在运行时更改JVM内存。请参阅:

是否可以在Spark中在运行时更改executor内存的值?我想这样做的原因是,对于某些映射任务,我希望纱线调度器将每个任务放在单独的节点上。通过将executor内存增加到接近一个节点的总内存,我确保它们分布在每个节点上。稍后,我想在每个节点上运行几个任务,因此我会降低它们的执行器内存。

不,您不能

每个执行器都在自己的JVM上启动,您不能在运行时更改JVM内存。请参阅: