Apache spark 在启用动态分配的情况下,本地级进程的数据本地性如何在Spark中工作

Apache spark 在启用动态分配的情况下,本地级进程的数据本地性如何在Spark中工作,apache-spark,apache-spark-sql,apache-spark-2.0,Apache Spark,Apache Spark Sql,Apache Spark 2.0,在动态分配的情况下,执行器在一定的空闲时间后被移除,因此可能有零执行器运行的时间。 因此,当在没有执行器运行的情况下提交任务时,数据位置为PROCESS\u LOCAL的任务是否会在那里运行?因为PROCESS\u LOCAL意味着数据位于JVM内部,目前没有执行器启动。正如您自己解释的那样,使用--master而不是local时,第一个任务不可能使用PROCESS\u locallocal调度。@mazaneicha那么后续任务只有机会使用PROCESS\u local调度吗?只有当一个执行器

在动态分配的情况下,执行器在一定的空闲时间后被移除,因此可能有零执行器运行的时间。
因此,当在没有执行器运行的情况下提交任务时,数据位置为
PROCESS\u LOCAL
的任务是否会在那里运行?因为
PROCESS\u LOCAL
意味着数据位于JVM内部,目前没有执行器启动。

正如您自己解释的那样,使用--master而不是
local
时,第一个任务不可能使用
PROCESS\u local
local调度。@mazaneicha那么后续任务只有机会使用PROCESS\u local调度吗?只有当一个执行器正在运行,并且我们有另一个任务必须在运行的执行器内部的数据上执行时,才会使用PROCESS_LOCAL right进行调度?好的,通常是,虽然可能有一些例外-考虑一种情况,任务是在从驱动程序向每个执行者广播的数据块上执行的。