Java Spark提交属性文件

我尝试使用配置文件中指定的属性运行spark submit，但未成功

我可以使用以下方式提交作业：

spark_home/spark-submit \
--class MyClass \
--master spark://my_master \
--files test.config \
--jars build/jars/MyProject.jar, build/jars/Config.jar

但当我将其复制到属性文件时：

spark.class   MyClass
spark.master  spark://my_master
spark.files   test.config
spark.jars    build/jars/MyProject.jar, build/jars/Config.jar

尝试将此文件与spark submit一起使用时，我遇到一个错误：java.lang.IllegalArgumentException:缺少应用程序资源

spark_home/spark-submit \
--properties-file  conf/properties.conf

---

我还需要提供其他论点吗？我以为我使用了相同的参数，但似乎我仍然缺少一个步骤。

正如Mark评论的那样，如果不指定--jars和--class选项，则必须包含一个参数，以便在包jar中使用spark submit

你应使用：

spark_home/spark-submit build/jars/MyProject.jar \
    --properties-file conf/properties.conf

--看起来您需要在命令行上指定应用程序jar。