Apache spark Spark—执行器的数量和服务器的数量

Apache spark Spark—执行器的数量和服务器的数量,apache-spark,cloudera,Apache Spark,Cloudera,我有一份很有活力的工作,但速度很慢。当我转到Cloudera中的job history server UI时,我可以看到执行者的数量只有2个,还有一个驱动程序 但我的集群有11台服务器处于spark的“委托”状态 所以我的问题是,当有11台服务器时,为什么我的工作只使用2个执行器 我从命令行运行我的作业 nohup spark-submit --class com.abhi.Foo --master yarn-cluster Foo-assembly.jar > output.txt

我有一份很有活力的工作,但速度很慢。当我转到Cloudera中的job history server UI时,我可以看到执行者的数量只有2个,还有一个驱动程序

但我的集群有11台服务器处于spark的“委托”状态

所以我的问题是,当有11台服务器时,为什么我的工作只使用2个执行器

我从命令行运行我的作业

nohup spark-submit --class com.abhi.Foo --master yarn-cluster Foo-assembly.jar 
> output.txt 2> info.txt

运行spark作业时是否指定了执行者的数量?显然不是@YuvalItzchakov:)如果在spark submit或启动spark Shell时未明确指定执行者的数量,则默认设置为2个执行者,这应该不会太麻烦:)Friends。我对你感激不尽。。。。。在我把遗嘱执行人的人数增加到10人之后。。。。。速度快了好几倍。你们真是太棒了!!!!!