Google cloud platform 在Dataproc上提交带有配置文件的pyspark作业

我是GCP的新手，正在努力提交Dataproc中的pyspark作业

我有一个python脚本依赖于config.yaml文件。我注意到，当我提交作业时，所有内容都在/tmp/下执行

如何使/tmp/文件夹中的配置文件可用

目前，我得到了这个错误：

12/22/2020 10:12:27 AM root         INFO     Read config file.
Traceback (most recent call last):
  File "/tmp/job-test4/train.py", line 252, in <module>
    run_training(args)
  File "/tmp/job-test4/train.py", line 205, in run_training
    with open(args.configfile, "r") as cf:
FileNotFoundError: [Errno 2] No such file or directory: 'gs://network-spark-migrate/model/demo-config.yml'

12/22/2020 10:12:27 AM根信息读取配置文件。
回溯（最近一次呼叫最后一次）：
文件“/tmp/job-test4/train.py”，第252行，在
跑步训练（args）
文件“/tmp/job-test4/train.py”，第205行，运行培训中
打开（args.configfile，“r”）作为cf：
FileNotFoundError:[Errno 2]没有这样的文件或目录：“gs://network spark migrate/model/demo config.yml”

---

提前感谢

下面是一个对我有用的片段：

gcloud dataproc jobs submit pyspark gs://network-spark-migrate/model/train.py --cluster train-spark-demo --region europe-west6 --files=gs://network-spark-migrate/model/demo-config.yml -- --configfile ./demo-config.yml

---

下面是一个对我有用的片段：

gcloud dataproc jobs submit pyspark gs://network-spark-migrate/model/train.py --cluster train-spark-demo --region europe-west6 --files=gs://network-spark-migrate/model/demo-config.yml -- --configfile ./demo-config.yml

---

看一看。尝试使用

--files

参数（请参阅）。谢谢@cyxxy。我知道了谢谢你的建议。看看。尝试使用

--files

参数（请参阅）。谢谢@cyxxy。我知道了，谢谢你的建议。