Mongodb 为gcloud dataproc作业传递属性参数submit pyspark

我正试图通过命令行向GoogleCloudDataProc提交pyspark作业 这是我的论点

gcloud dataproc jobs submit pyspark --cluster mongo-load --properties org.mongodb.spark:mongo-spark-connector_2.11:2.2.0 mongo_load.py

我经常遇到一个例外

--properties: Bad syntax for dict arg: [org.mongodb.spark:mongo-spark-connector_2.11:2.2.0]

---

我尝试了谷歌展示的一些转义选项，但似乎没有任何效果。

发现我只需要通过

spark.jars.packages=org.mongodb.spark:mongo-spark-connector_2.11:2.2.0

---

我想我只是需要通过考试

spark.jars.packages=org.mongodb.spark:mongo-spark-connector_2.11:2.2.0

---

除了@Marlon Gray给出的答案外，如果您需要传递多个包，则需要避开

spark.jars.packages

字符串，如

--properties=^#^spark.jars.packages=mavencoordinate1,mavencoordinate2

---

请查看更多详细信息。

除了@Marlon Gray的答案之外，如果您需要传递多个包，则需要避开

spark.jars.packages

字符串，如

--properties=^#^spark.jars.packages=mavencoordinate1,mavencoordinate2

请查看更多详细信息