Python 如何在PYSPARK_SUBMIT_参数中添加多个环境

Python 如何在PYSPARK_SUBMIT_参数中添加多个环境,python,pyspark,operating-system,environ,Python,Pyspark,Operating System,Environ,当我在同一个文件中第二次使用os.environ[“PYSPARK\u SUBMIT\u ARGS”]时,我遇到了问题。如果我将两个os.environ[“PYSPARK\u SUBMIT\u ARGS”]分离并分别运行,它就可以工作。有什么办法把它们结合起来吗?这些是我的os.Enviro[“PYSPARK\u SUBMIT\u ARGS”] os.environ['PYSPARK_SUBMIT_ARGS']='-conf“spark.hadoop.io.compression.codecs=

当我在同一个文件中第二次使用os.environ[“PYSPARK\u SUBMIT\u ARGS”]时,我遇到了问题。如果我将两个os.environ[“PYSPARK\u SUBMIT\u ARGS”]分离并分别运行,它就可以工作。有什么办法把它们结合起来吗?这些是我的os.Enviro[“PYSPARK\u SUBMIT\u ARGS”]

  • os.environ['PYSPARK_SUBMIT_ARGS']='-conf“spark.hadoop.io.compression.codecs=io.projectglow.sql.util.BGZFCodec”--名称“PySparkShell”--包“io.projectglow:glow-spark3_2.12:0.6.0”PYSPARK shell

  • os.environ['PYSPARK\u SUBMIT\u ARGS']='-conf“spark.sql.extensions=com.datastax.spark.connector.CassandraSparkExtensions”--名称“PySparkShell”--包“com.datastax.spark:spark-cassandra-connector\u 2.12:3.0.0”PYSPARK shell


  • 第二次使用时有什么问题?