Apache spark spark shell使用适当的纱线资源设置，但不使用spark submit

纱线上的spark shell（客户端模式）使用$spark_HOME/conf/spark-defaults.conf中指定的纱线配置（创建5个执行器）

---

但是spark submit on Thread（客户端模式）没有（spark submit只创建两个执行器）

，因为您提交的作业不知道要使用哪个配置，因此请尝试显式设置它，例如：

spark-submit --class "main.scala.Main" \
    --master yarn \
    --deploy-mode cluster \
    --driver-memory 4g \
    --executor-memory 2g \
    --num-executors 6 \
    --executor-cores 2 \
    --queue default \
    sparkcompanymerge.jar

---

或者使用--conf标志，如在

Hello@Akinwale中指定的那样，这对您有效吗？

spark-submit --class "main.scala.Main" \
    --master yarn \
    --deploy-mode cluster \
    --driver-memory 4g \
    --executor-memory 2g \
    --num-executors 6 \
    --executor-cores 2 \
    --queue default \
    sparkcompanymerge.jar