Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Scala 是否有可能从spark submit设置spark.scheduler.pool(本地属性)_Scala_Apache Spark_Yarn_Spark Submit - Fatal编程技术网

Scala 是否有可能从spark submit设置spark.scheduler.pool(本地属性)

Scala 是否有可能从spark submit设置spark.scheduler.pool(本地属性),scala,apache-spark,yarn,spark-submit,Scala,Apache Spark,Yarn,Spark Submit,我正在使用一个公平的调度与纱线 spark.scheduler.pool是一个本地属性,用于在执行作业时为已配置的池设置spark上下文 像 val sc: SparkContext = ??? sc.setLocalProperty("spark.scheduler.pool", "myPool") 我只是想知道是否有可能通过spark submit命令设置此本地属性,如-Dspark.scheduler.pool=xxx是的,spark.scheduler.pool可以使用以下语法设置为s

我正在使用一个公平的调度与纱线

spark.scheduler.pool
是一个本地属性,用于在执行作业时为已配置的池设置spark上下文

val sc: SparkContext = ???
sc.setLocalProperty("spark.scheduler.pool", "myPool")

我只是想知道是否有可能通过
spark submit
命令设置此本地属性,如
-Dspark.scheduler.pool=xxx
是的,
spark.scheduler.pool
可以使用以下语法设置为
spark submit
中的任何值-

spark-submit --master local --conf spark.scheduler.pool=myPool --class classpath jarfile

我希望有帮助

@himanshuIIITian:你知道这是否可能吗?这不是预期的效果。池已配置,我从
spark submit
中提供了属性
--conf
,而不是
setLocalProperty
,而是它的默认池。我使用的是客户机和群集模式,有时不是local@user3190018你能分享一下sc.conf.getAll的输出吗?