Python 正在读取从pyspark提交命令传递的配置文件

Python 正在读取从pyspark提交命令传递的配置文件,python,apache-spark,pyspark,config,Python,Apache Spark,Pyspark,Config,我正在提交aws emr上的spark作业。我正在传递一个配置文件,其中spark submit位于s3存储桶中。配置文件用于其中一个python文件。 spark提交命令: 'Args':['spark-submit'、'-deploy mode'、'cluster'、'-master'、'swarn'、'-executor memory',conf['emr_-step_-executor_-memory']、'-conf'、's3.swark.submit.waitAppCompletio

我正在提交aws emr上的spark作业。我正在传递一个配置文件,其中spark submit位于s3存储桶中。配置文件用于其中一个python文件。 spark提交命令:

'Args':['spark-submit'、'-deploy mode'、'cluster'、'-master'、'swarn'、'-executor memory',conf['emr_-step_-executor_-memory']、'-conf'、's3.swark.submit.waitAppCompletion=true'、'-conf'、'spark.rpc.message.maxSize=1024','{'{s3_-path}/file1.py'、'-py-py files',f'-spark路径{/file3.py',f'{s3_path}/file4.py','--files',**f'{s3_path}/config
**]

请参阅下面的代码,了解配置文件是如何通过文件3.py中使用的spark submit传递的:

config = configparser.ConfigParser()
config.readfp(open(config'))
但上面的代码抛出一个错误,上面的指令无法读取配置文件并抛出一个文件未找到错误


注意:我无法硬编码s3路径以读取配置文件,只能选择我必须从spark submit传递配置文件。

非常确定您需要
SparkContext.\u jvm.java.lang.System.getProperty(“配置”)