Apache spark SPARK_WORKER_内核和SPARK_EXECUTOR_内核之间的区别?
使用独立群集管理器时,如何配置SPARK_WORKER_cores和SPARK_EXECUTOR_cores的内核数。请参见SPARK文档 SPARK_WORKER_CORES:允许SPARK应用程序在机器上使用的CORES总数(默认值:所有可用CORES) 例如:如果您有一个由5个节点(1个主节点和4个slavenode)组成的集群,并且每个节点配置为8核和32GB RAM。。。因此,通过使用SPARK_WORKER_CORES,我们可以配置SPARK每个WORKER(即节点)可以使用多少个CORES默认值是使用所有内核。(提示:我们还需要为操作系统保留2个内核,为NM保留1个内核,为Spark守护进程保留1个内核) SPARK_EXECUTOR_CORES:此属性用于控制执行器级别的内核。spark可以根据资源可用性为每个工作者(即节点)启动多个执行器。该条件应始终满足(火花执行器火花芯<火花工作者火花芯) 如果配置SPARK_WORKER_CORES=5个CORES和SPARK_EXECUTOR_CORES=1,则SPARK可以在每台机器上运行5个执行器Apache spark SPARK_WORKER_内核和SPARK_EXECUTOR_内核之间的区别?,apache-spark,apache-spark-standalone,Apache Spark,Apache Spark Standalone,使用独立群集管理器时,如何配置SPARK_WORKER_cores和SPARK_EXECUTOR_cores的内核数。请参见SPARK文档 SPARK_WORKER_CORES:允许SPARK应用程序在机器上使用的CORES总数(默认值:所有可用CORES) 例如:如果您有一个由5个节点(1个主节点和4个slavenode)组成的集群,并且每个节点配置为8核和32GB RAM。。。因此,通过使用SPARK_WORKER_CORES,我们可以配置SPARK每个WORKER(即节点)可以使用多少个C
注意:只有在SPARK单机模式下运行SPARK时,SPARK\u WORKER\u CORES属性才有意义。根据SPARK文档 SPARK_WORKER_CORES:允许SPARK应用程序在机器上使用的CORES总数(默认值:所有可用CORES) 例如:如果您有一个由5个节点(1个主节点和4个slavenode)组成的集群,并且每个节点配置为8核和32GB RAM。。。因此,通过使用SPARK_WORKER_CORES,我们可以配置SPARK每个WORKER(即节点)可以使用多少个CORES默认值是使用所有内核。(提示:我们还需要为操作系统保留2个内核,为NM保留1个内核,为Spark守护进程保留1个内核) SPARK_EXECUTOR_CORES:此属性用于控制执行器级别的内核。spark可以根据资源可用性为每个工作者(即节点)启动多个执行器。该条件应始终满足(火花执行器火花芯<火花工作者火花芯) 如果配置SPARK_WORKER_CORES=5个CORES和SPARK_EXECUTOR_CORES=1,则SPARK可以在每台机器上运行5个执行器
注意:只有在SPARK单机模式下运行SPARK时,SPARK\u WORKER\u CORES属性才有意义。请进行研究并提出更具体的问题。请进行研究并提出更具体的问题。