Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/azure/13.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Azure 为什么spark num执行器不等于纱线容器?_Azure_Apache Spark_Yarn - Fatal编程技术网

Azure 为什么spark num执行器不等于纱线容器?

Azure 为什么spark num执行器不等于纱线容器?,azure,apache-spark,yarn,Azure,Apache Spark,Yarn,据[,纱线容器的数量应等于spark应用程序的num executors。但是,我在一次运行中看到,spark UI环境选项卡中显示的num executors为60,但纱线中显示的容器数量仅为37。我使用的是spark 2.2,spark.DynamicLocation.enabled设置为false。我使用的是Azure HDinsight cluster有人可以解释吗?Spark UI还显示了一些终止的执行器。 它们可能已被Spark dynamic execution删除 或者通过纱线抢

据[,纱线容器的数量应等于spark应用程序的num executors。但是,我在一次运行中看到,spark UI环境选项卡中显示的num executors为60,但纱线中显示的容器数量仅为37。我使用的是spark 2.2,spark.DynamicLocation.enabled设置为false。我使用的是Azure HDinsight cluster有人可以解释吗?

Spark UI还显示了一些终止的执行器。 它们可能已被Spark dynamic execution删除 或者通过纱线抢占。 你通常可以判断遗嘱执行人是否还活着

他们与众不同的另一个原因是Spark driver。 在“纱线簇”模式下,驱动程序也占用一个纱线容器。
因此,在这种情况下,您也将看到+1容器的差异。

Spark UI还显示了一些终止的执行器。 它们可能已被Spark dynamic execution删除 或者通过纱线抢占。 你通常可以判断遗嘱执行人是否还活着

他们与众不同的另一个原因是Spark driver。 在“纱线簇”模式下,驱动程序也占用一个纱线容器。
因此,在这种情况下,您也会看到+1容器的差异。

它还依赖于您的资源(cpu核心和内存),它还依赖于您的资源(cpu核心和内存)