Apache spark 替换spark submit中的默认application.conf文件

Apache spark 替换spark submit中的默认application.conf文件,apache-spark,datastax,Apache Spark,Datastax,我的代码的工作原理如下: val config = ConfigFactory.load 默认情况下,它从application.conf获取键值对。然后我使用-Dconfig.file=指向另一个conf文件 对于以下命令,它可以正常工作: dse -u cassandra -p cassandra spark-submit --class packagename.classname --driver-java-options -Dconfig.file=/home/us

我的代码的工作原理如下:

val config = ConfigFactory.load
默认情况下,它从application.conf获取键值对。然后我使用-Dconfig.file=指向另一个conf文件

对于以下命令,它可以正常工作:

dse -u cassandra -p cassandra spark-submit 
    --class packagename.classname --driver-java-options 
    -Dconfig.file=/home/userconfig.conf /home/user-jar-with-dependencies.jar
但是现在我需要将userconfig.conf拆分为2个文件。我试着在下面指挥。它不起作用

dse -u cassandra -p cassandra spark-submit 
    --class packagename.classname --driver-java-options 
    -Dconfig.file=/home/userconfig.conf,env.conf 
     /home/user-jar-with-dependencies.jar

默认情况下,spark将在defaults.conf中查找,但您可以1)使用“properties file”指定另一个文件2)您可以使用--conf传递单个keu值属性,或3)您可以使用sparkConf对象在代码中以编程方式设置配置


这是否有帮助,或者您正在查找akka application.conf文件?

我没有理解您的意思。我有类似(val config=ConfigFactory.load)的代码从application.conf获取k-v对。然后使用-Dconfig.file=替换默认的application.conf。现在我想将设置拆分为2个conf文件。