Apache spark 替换spark submit中的默认application.conf文件
我的代码的工作原理如下:Apache spark 替换spark submit中的默认application.conf文件,apache-spark,datastax,Apache Spark,Datastax,我的代码的工作原理如下: val config = ConfigFactory.load 默认情况下,它从application.conf获取键值对。然后我使用-Dconfig.file=指向另一个conf文件 对于以下命令,它可以正常工作: dse -u cassandra -p cassandra spark-submit --class packagename.classname --driver-java-options -Dconfig.file=/home/us
val config = ConfigFactory.load
默认情况下,它从application.conf获取键值对。然后我使用-Dconfig.file=指向另一个conf文件
对于以下命令,它可以正常工作:
dse -u cassandra -p cassandra spark-submit
--class packagename.classname --driver-java-options
-Dconfig.file=/home/userconfig.conf /home/user-jar-with-dependencies.jar
但是现在我需要将userconfig.conf拆分为2个文件。我试着在下面指挥。它不起作用
dse -u cassandra -p cassandra spark-submit
--class packagename.classname --driver-java-options
-Dconfig.file=/home/userconfig.conf,env.conf
/home/user-jar-with-dependencies.jar
默认情况下,spark将在defaults.conf中查找,但您可以1)使用“properties file”指定另一个文件2)您可以使用--conf传递单个keu值属性,或3)您可以使用sparkConf对象在代码中以编程方式设置配置
这是否有帮助,或者您正在查找akka application.conf文件?我没有理解您的意思。我有类似(val config=ConfigFactory.load)的代码从application.conf获取k-v对。然后使用-Dconfig.file=替换默认的application.conf。现在我想将设置拆分为2个conf文件。