Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark SPARK_WORKER_内核和SPARK_EXECUTOR_内核之间的区别?_Apache Spark_Apache Spark Standalone - Fatal编程技术网

Apache spark SPARK_WORKER_内核和SPARK_EXECUTOR_内核之间的区别?

Apache spark SPARK_WORKER_内核和SPARK_EXECUTOR_内核之间的区别?,apache-spark,apache-spark-standalone,Apache Spark,Apache Spark Standalone,使用独立群集管理器时,如何配置SPARK_WORKER_cores和SPARK_EXECUTOR_cores的内核数。请参见SPARK文档 SPARK_WORKER_CORES:允许SPARK应用程序在机器上使用的CORES总数(默认值:所有可用CORES) 例如:如果您有一个由5个节点(1个主节点和4个slavenode)组成的集群,并且每个节点配置为8核和32GB RAM。。。因此,通过使用SPARK_WORKER_CORES,我们可以配置SPARK每个WORKER(即节点)可以使用多少个C

使用独立群集管理器时,如何配置SPARK_WORKER_cores和SPARK_EXECUTOR_cores的内核数。

请参见SPARK文档

SPARK_WORKER_CORES:允许SPARK应用程序在机器上使用的CORES总数(默认值:所有可用CORES)

例如:如果您有一个由5个节点(1个主节点和4个slavenode)组成的集群,并且每个节点配置为8核和32GB RAM。。。因此,通过使用SPARK_WORKER_CORES,我们可以配置SPARK每个WORKER(即节点)可以使用多少个CORES默认值是使用所有内核。(提示:我们还需要为操作系统保留2个内核,为NM保留1个内核,为Spark守护进程保留1个内核)

SPARK_EXECUTOR_CORES:此属性用于控制执行器级别的内核。spark可以根据资源可用性为每个工作者(即节点)启动多个执行器。该条件应始终满足(火花执行器火花芯<火花工作者火花芯)

如果配置SPARK_WORKER_CORES=5个CORES和SPARK_EXECUTOR_CORES=1,则SPARK可以在每台机器上运行5个执行器


注意:只有在SPARK单机模式下运行SPARK时,SPARK\u WORKER\u CORES属性才有意义。

根据SPARK文档

SPARK_WORKER_CORES:允许SPARK应用程序在机器上使用的CORES总数(默认值:所有可用CORES)

例如:如果您有一个由5个节点(1个主节点和4个slavenode)组成的集群,并且每个节点配置为8核和32GB RAM。。。因此,通过使用SPARK_WORKER_CORES,我们可以配置SPARK每个WORKER(即节点)可以使用多少个CORES默认值是使用所有内核。(提示:我们还需要为操作系统保留2个内核,为NM保留1个内核,为Spark守护进程保留1个内核)

SPARK_EXECUTOR_CORES:此属性用于控制执行器级别的内核。spark可以根据资源可用性为每个工作者(即节点)启动多个执行器。该条件应始终满足(火花执行器火花芯<火花工作者火花芯)

如果配置SPARK_WORKER_CORES=5个CORES和SPARK_EXECUTOR_CORES=1,则SPARK可以在每台机器上运行5个执行器


注意:只有在SPARK单机模式下运行SPARK时,SPARK\u WORKER\u CORES属性才有意义。

请进行研究并提出更具体的问题。请进行研究并提出更具体的问题。