Hadoop 纱线火花并联作业

Hadoop 纱线火花并联作业,hadoop,yarn,Hadoop,Yarn,我制作了一个只有一个工作节点的纱线簇,当我提交spark申请工作时,它似乎工作得很好。当我提交多个作业时,作业位于hadoop队列上,并逐个处理提交的应用程序。我希望并行处理我的应用程序,而不是逐个处理。这有什么配置吗?或者无法在纱线上执行此操作?默认情况下,纱线会逐个提交作业。 对于提交多个作业,您可以更改executor Core的数量: spark-submit class /jar --executor-memory 2g --num-executors 15 --executor-co

我制作了一个只有一个工作节点的纱线簇,当我提交spark申请工作时,它似乎工作得很好。当我提交多个作业时,作业位于hadoop队列上,并逐个处理提交的应用程序。我希望并行处理我的应用程序,而不是逐个处理。这有什么配置吗?或者无法在纱线上执行此操作?

默认情况下,纱线会逐个提交作业。 对于提交多个作业,您可以更改executor Core的数量:

spark-submit class /jar --executor-memory 2g --num-executors 15 --executor-cores 3 --master yarn --deploy-mode cluster 

默认情况下,您还可以在warn-site.xml中逐个更改此属性。 对于提交多个作业,您可以更改executor Core的数量:

spark-submit class /jar --executor-memory 2g --num-executors 15 --executor-cores 3 --master yarn --deploy-mode cluster 
您还可以在warn-site.xml中更改此属性