Scala 是否有可能从spark submit设置spark.scheduler.pool(本地属性)
我正在使用一个公平的调度与纱线Scala 是否有可能从spark submit设置spark.scheduler.pool(本地属性),scala,apache-spark,yarn,spark-submit,Scala,Apache Spark,Yarn,Spark Submit,我正在使用一个公平的调度与纱线 spark.scheduler.pool是一个本地属性,用于在执行作业时为已配置的池设置spark上下文 像 val sc: SparkContext = ??? sc.setLocalProperty("spark.scheduler.pool", "myPool") 我只是想知道是否有可能通过spark submit命令设置此本地属性,如-Dspark.scheduler.pool=xxx是的,spark.scheduler.pool可以使用以下语法设置为s
spark.scheduler.pool
是一个本地属性,用于在执行作业时为已配置的池设置spark上下文
像
val sc: SparkContext = ???
sc.setLocalProperty("spark.scheduler.pool", "myPool")
我只是想知道是否有可能通过
spark submit
命令设置此本地属性,如-Dspark.scheduler.pool=xxx
是的,spark.scheduler.pool
可以使用以下语法设置为spark submit
中的任何值-
spark-submit --master local --conf spark.scheduler.pool=myPool --class classpath jarfile
我希望有帮助 @himanshuIIITian:你知道这是否可能吗?这不是预期的效果。池已配置,我从
spark submit
中提供了属性--conf
,而不是setLocalProperty
,而是它的默认池。我使用的是客户机和群集模式,有时不是local@user3190018你能分享一下sc.conf.getAll的输出吗?