Apache spark 将多个系统属性传递给spark submit

Apache spark 将多个系统属性传递给spark submit,apache-spark,spark-submit,system-properties,Apache Spark,Spark Submit,System Properties,我正在尝试在Windows中使用Spark submit运行Spark作业。我正在命令提示符下执行下面的spark submit命令 spark submit--驱动程序类路径%FILE\u NAME%\config --files%FILE\u NAME%\config\app.conf,%FILE\u NAME%\config\log4j.properties--conf “spark.driver.extraJavaOptions=-Dcassandra.username=cassandr

我正在尝试在Windows中使用Spark submit运行Spark作业。我正在命令提示符下执行下面的spark submit命令

spark submit--驱动程序类路径%FILE\u NAME%\config --files%FILE\u NAME%\config\app.conf,%FILE\u NAME%\config\log4j.properties--conf “spark.driver.extraJavaOptions=-Dcassandra.username=cassandra -Dcassandra.password=cassandra@123“--classcom.sapient.main.MainApp%文件\u NAME%\lib\test.jar

在这里,我尝试使用
spark.driver.extraJavaOptions
传递两个系统属性,一个是
cassandra.username
,另一个是
cassandra.password
,但在执行命令时,我发现了以下错误

The input line is too long.
但是,如果我只将一个系统属性传递给
extraJavaOptions
,并且没有双引号
,则一切正常

 --conf spark.driver.extraJavaOptions=-Dcassandra.username=cassandra
但我需要通过2个系统属性。我如何解决这个问题?另外,请告诉我是否有其他方法可以将系统属性传递给spark,从而避免此问题


注意:它在linux环境中运行。

您可以使用conf文件并将其传递给spark submit

像下面这样传过去

--conf spark.driver.extraJavaOptions=-Dcassandra.username=cassandra\
--conf spark.rpc.message.maxSize=1024\
--conf spark.network,timeout=1000\

需要提供多个系统属性,即extraJavaOptions中的多个键值对。。如何做到这一点?您可以尝试像--conf spark.driver.extraJavaOptions=-Dcassandra.configuration=file:/data/security.properties这样的方法吗