Hadoop 如何计算spark应用程序的已分配资源(已分配内存)?

Hadoop 如何计算spark应用程序的已分配资源(已分配内存)?,hadoop,apache-spark,yarn,Hadoop,Apache Spark,Yarn,正如我们所知,当提交spark应用程序时,集群将分配资源来运行它,但是如何计算应用程序所需的总分配内存(例如,使用默认配置) spark作业的总分配内存可通过以下公式给出 Total Memory = memory required by the driver + the memory used by executors * number of executors 提交spark作业时,通常指定驱动程序内存、num执行器和执行器内存 如果未指定spark,请输入defaut值。spark的默

正如我们所知,当提交spark应用程序时,集群将分配资源来运行它,但是如何计算应用程序所需的总分配内存(例如,使用默认配置)


spark作业的总分配内存可通过以下公式给出

Total Memory =  memory required by the driver + the memory used by executors * number of executors
提交spark作业时,通常指定驱动程序内存、num执行器和执行器内存

如果未指定spark,请输入defaut值。spark的默认值可以在conf/spark-defaults.conf Check中找到