Apache spark 如何为纱线中的每个节点设置几个Apache Spark执行器?
我想知道如何在Thread中为每个节点设置几个Apache Spark执行器。我是否需要在Thread site.xml中以某种方式指定它?当spark运行时,它的行为类似于任何其他Thread应用程序,因此它向Thread请求资源,因此对于初学者,您需要设置Thread,以便它能够容纳您的执行者() 然后,您可以在提交作业时设置所需的执行者数量及其内存,如中所示Apache spark 如何为纱线中的每个节点设置几个Apache Spark执行器?,apache-spark,yarn,Apache Spark,Yarn,我想知道如何在Thread中为每个节点设置几个Apache Spark执行器。我是否需要在Thread site.xml中以某种方式指定它?当spark运行时,它的行为类似于任何其他Thread应用程序,因此它向Thread请求资源,因此对于初学者,您需要设置Thread,以便它能够容纳您的执行者() 然后,您可以在提交作业时设置所需的执行者数量及其内存,如中所示 抱歉,这是否回答了每个节点有多少执行者?请给出这些配置参数的示例,每个节点将有多少个执行器。此设置将请求1个具有4gb ram的驱动
抱歉,这是否回答了每个节点有多少执行者?请给出这些配置参数的示例,每个节点将有多少个执行器。此设置将请求1个具有4gb ram的驱动程序,以及总共3个具有2g的执行器,每个执行器有1个核心。执行器的实际数量取决于纱线满足这些要求的能力
$ ./bin/spark-submit --class org.apache.spark.examples.SparkPi \
--master yarn-cluster \
--num-executors 3 \
--driver-memory 4g \
--executor-memory 2g \
--executor-cores 1 \
lib/spark-examples*.jar \