Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/5/ruby-on-rails-4/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 如何为纱线中的每个节点设置几个Apache Spark执行器?_Apache Spark_Yarn - Fatal编程技术网

Apache spark 如何为纱线中的每个节点设置几个Apache Spark执行器?

Apache spark 如何为纱线中的每个节点设置几个Apache Spark执行器?,apache-spark,yarn,Apache Spark,Yarn,我想知道如何在Thread中为每个节点设置几个Apache Spark执行器。我是否需要在Thread site.xml中以某种方式指定它?当spark运行时,它的行为类似于任何其他Thread应用程序,因此它向Thread请求资源,因此对于初学者,您需要设置Thread,以便它能够容纳您的执行者() 然后,您可以在提交作业时设置所需的执行者数量及其内存,如中所示 抱歉,这是否回答了每个节点有多少执行者?请给出这些配置参数的示例,每个节点将有多少个执行器。此设置将请求1个具有4gb ram的驱动

我想知道如何在Thread中为每个节点设置几个Apache Spark执行器。我是否需要在Thread site.xml中以某种方式指定它?

当spark运行时,它的行为类似于任何其他Thread应用程序,因此它向Thread请求资源,因此对于初学者,您需要设置Thread,以便它能够容纳您的执行者()

然后,您可以在提交作业时设置所需的执行者数量及其内存,如中所示


抱歉,这是否回答了每个节点有多少执行者?请给出这些配置参数的示例,每个节点将有多少个执行器。此设置将请求1个具有4gb ram的驱动程序,以及总共3个具有2g的执行器,每个执行器有1个核心。执行器的实际数量取决于纱线满足这些要求的能力
$ ./bin/spark-submit --class org.apache.spark.examples.SparkPi \
    --master yarn-cluster \
    --num-executors 3 \
    --driver-memory 4g \
    --executor-memory 2g \
    --executor-cores 1 \
    lib/spark-examples*.jar \