Maven 从Intellij运行Spark Standalone缺少依赖项

我不完全明白为什么当我通过intellij运行我的spark应用程序，并将master作为我的独立群集url与一个worker一起在本地运行时，我会遇到一个类未找到的问题，但如果我只使用

local[*]

就可以了。我从概念上理解，也许我的工作人员找不到独立的jar文件，但如何确保pom文件中定义的依赖关系在集群中得到利用？（我没有运行

spark submit--jars

，所以我尝试在独立模式下使用本地集群从intellij内部进行测试

Caused by: java.lang.ClassNotFoundException: Class org.apache.hadoop.fs.s3a.S3AFileSystem not found

---

您的pom.xml包含哪些内容？我只是拥有我所有的依赖项，如spark等，它们具有

compile

scope。