Java ApacheSpark提供自定义类路径

如何为以群集模式运行的spark应用程序提供自定义类路径，即驱动程序提交、执行程序执行

spark.driver.userClassPathFirst选项会导致更多类路径冲突

-conf spark.executor.extraClassPath=foo/bar.jar-conf spark.driver.extraClassPath=foo/bar.jar

我在使用spark submit时使用了它，但我看不到它的效果

---

foo/bar.jar是否必须存在于executor主机上，或者它也将使其可用？

如果您想通过作业本身将jar复制到所有executor上，可以使用-jars。否则你需要复制罐子

谢谢

---

Ravi

-jars-foo/bar.jar只是这没有按预期工作。它应该和其他旗帜一起吗？谢天谢地，我必须传递两个标志，-jar以使文件可用，并传递前面提到的其他标志以使它们在类路径中可用。