Apache spark 在spark submit命令中设置default.parallelism

Apache spark 在spark submit命令中设置default.parallelism,apache-spark,pyspark,spark-submit,Apache Spark,Pyspark,Spark Submit,在执行spark提交作业时,更改默认并行性的语法是什么 提交spark作业时,我可以通过以下命令指定执行器、执行器内核和执行器内存的数量: spark-submit --num-executors 9 --executor-cores 5 --executor-memory 48g 在conf文件中指定并行性是: spark.conf.set("spark.default.parallelism",90) 如果我在spark submit命令中更改它,它会是吗 spark

在执行spark提交作业时,更改默认并行性的语法是什么

提交spark作业时,我可以通过以下命令指定执行器、执行器内核和执行器内存的数量:

spark-submit --num-executors 9 --executor-cores 5 --executor-memory 48g
conf
文件中指定并行性是:

spark.conf.set("spark.default.parallelism",90)
如果我在
spark submit
命令中更改它,它会是吗

spark-submit --default.parallelism 90

根据Spark文档,Spark submit命令具有以下语法:

./bin/spark-submit \
  --class <main-class> \
  --master <master-url> \
  --deploy-mode <deploy-mode> \
  --conf <key>=<value> \
  ... # other options
  <application-jar> \
  [application-arguments]
spark-submit [...] --conf spark.default.parallelism=90