Apache spark Spark提交默认命令行选项

如何更改Qubole中Spark Submit默认命令行选项中的参数

---

尽管在“Spark Submit Command Line Options”（Spark提交命令行选项）下有一个选项可以根据需要覆盖这些值，但该选项在Spark“Command Line”（命令行）中不可用。

对于Spark命令行，您可以在代码中传递配置，如下所示：

/usr/lib/spark/bin/spark-submit --class org.apache.spark.examples.SparkPi -- 
master yarn-client /usr/lib/spark/spark-examples*.jar --conf 
spark.executor.instances=2 --conf spark.logConf=true

---

参考链接：

对于Spark命令行，您可以在代码本身中传递配置，如下所示：

/usr/lib/spark/bin/spark-submit --class org.apache.spark.examples.SparkPi -- 
master yarn-client /usr/lib/spark/spark-examples*.jar --conf 
spark.executor.instances=2 --conf spark.logConf=true

参考链接：