Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop 运行spark时,通过纱线最大限度地利用vCore_Hadoop_Apache Spark_Yarn - Fatal编程技术网

Hadoop 运行spark时,通过纱线最大限度地利用vCore

Hadoop 运行spark时,通过纱线最大限度地利用vCore,hadoop,apache-spark,yarn,Hadoop,Apache Spark,Yarn,我有一个4节点的Hadoop 2.9虚拟化集群。 每个节点有16个cpu和126 gb ram 对于更多我尝试将warn.scheduler.minimum-allocation-vcore设置为不同于1的内容,当我将warn运行为master时,每个容器仅使用1个vcore 有没有办法克服这个问题 谢谢 使用spark.executor.cores。发件人: 每个执行器上要使用的核心数。在独立和Mesos粗粒度模式中,设置此参数允许应用程序在同一个辅助程序上运行多个执行器,前提是该辅助程序上有

我有一个4节点的Hadoop 2.9虚拟化集群。 每个节点有16个cpu和126 gb ram

对于更多我尝试将warn.scheduler.minimum-allocation-vcore设置为不同于1的内容,当我将warn运行为master时,每个容器仅使用1个vcore

有没有办法克服这个问题


谢谢

使用
spark.executor.cores
。发件人:

每个执行器上要使用的核心数。在独立和Mesos粗粒度模式中,设置此参数允许应用程序在同一个辅助程序上运行多个执行器,前提是该辅助程序上有足够的内核。否则,每个应用程序只会在每个辅助进程上运行一个执行器

默认情况下是:

1在纱线模式下