Properties Datastax DSE:DSE spark submit忽略传递的java属性_Properties_Apache Spark_Datastax Enterprise

Properties Datastax DSE:DSE spark submit忽略传递的java属性

properties apache-spark

Properties Datastax DSE:DSE spark submit忽略传递的java属性,properties,apache-spark,datastax-enterprise,Properties,Apache Spark,Datastax Enterprise,我已经设置了一个简单的项目，将与spark一起到期。我使用dse 4.6.2（3）。当我使用以下命令提交jar时（在独立模式下，而不是纱线模式下）：属性logging.path出现在spark.driver.extrajavaoptions中，因此我可以执行sys.pros.get（“spark.driver.extrajavaoptions”）并解析字符串，这显然不是最好的做法。另一方面，当我使用sys.props.get（“logging.path”）… 这些属性不应该应用于驱动程序的j

我已经设置了一个简单的项目，将与spark一起到期。我使用dse 4.6.2（3）。当我使用以下命令提交jar时（在独立模式下，而不是纱线模式下）：

属性

logging.path

出现在

spark.driver.extrajavaoptions

中，因此我可以执行

sys.pros.get（“spark.driver.extrajavaoptions”）

并解析字符串，这显然不是最好的做法。另一方面，当我使用

sys.props.get（“logging.path”）…

这些属性不应该应用于驱动程序的jvm吗？有什么想法吗

dse spark-submit --driver-java-options "-Dloggging.path=/home/$USER/log/" --class com.SimpleSparkApp my.jar