Apache spark 将多个系统属性传递给spark submit
我正在尝试在Windows中使用Spark submit运行Spark作业。我正在命令提示符下执行下面的spark submit命令 spark submit--驱动程序类路径%FILE\u NAME%\config --files%FILE\u NAME%\config\app.conf,%FILE\u NAME%\config\log4j.properties--conf “spark.driver.extraJavaOptions=-Dcassandra.username=cassandra -Dcassandra.password=cassandra@123“--classcom.sapient.main.MainApp%文件\u NAME%\lib\test.jar 在这里,我尝试使用Apache spark 将多个系统属性传递给spark submit,apache-spark,spark-submit,system-properties,Apache Spark,Spark Submit,System Properties,我正在尝试在Windows中使用Spark submit运行Spark作业。我正在命令提示符下执行下面的spark submit命令 spark submit--驱动程序类路径%FILE\u NAME%\config --files%FILE\u NAME%\config\app.conf,%FILE\u NAME%\config\log4j.properties--conf “spark.driver.extraJavaOptions=-Dcassandra.username=cassandr
spark.driver.extraJavaOptions
传递两个系统属性,一个是cassandra.username
,另一个是cassandra.password
,但在执行命令时,我发现了以下错误
The input line is too long.
但是,如果我只将一个系统属性传递给extraJavaOptions
,并且没有双引号”
,则一切正常
--conf spark.driver.extraJavaOptions=-Dcassandra.username=cassandra
但我需要通过2个系统属性。我如何解决这个问题?另外,请告诉我是否有其他方法可以将系统属性传递给spark,从而避免此问题
注意:它在linux环境中运行。您可以使用conf文件并将其传递给spark submit 或 像下面这样传过去
--conf spark.driver.extraJavaOptions=-Dcassandra.username=cassandra\
--conf spark.rpc.message.maxSize=1024\
--conf spark.network,timeout=1000\
需要提供多个系统属性,即extraJavaOptions中的多个键值对。。如何做到这一点?您可以尝试像--conf spark.driver.extraJavaOptions=-Dcassandra.configuration=file:/data/security.properties这样的方法吗