Fatal编程技术网
  • java/
  • 通过--conf vs Spark.driver.extraJavaOptions将参数传递到Spark作业有什么好处？

通过--conf vs Spark.driver.extraJavaOptions将参数传递到Spark作业有什么好处？

java apache-spark

通过--conf vs Spark.driver.extraJavaOptions将参数传递到Spark作业有什么好处？,java,apache-spark,Java,Apache Spark,在Spark.driver.extraJavaOptions=-Dkey:value和Spark.executor.extraJavaOptions=-Dkey:value上使用-conf key=value将参数传递给Spark作业有什么好处吗 我这样问是因为后者更灵活，允许您在任何类中调用System.getProperty（..），因为前者要求您在类中传递SparkConf对象

在
Spark.driver.extraJavaOptions=-Dkey:value
和
Spark.executor.extraJavaOptions=-Dkey:value
上使用
-conf key=value
将参数传递给Spark作业有什么好处吗

我这样问是因为后者更灵活，允许您在任何类中调用
System.getProperty（..）
，因为前者要求您在类中传递
SparkConf
对象