在IntelliJ IDE中配置Scala脚本，通过spark submit运行spark独立脚本

我想运行一个独立的Spark脚本，我已经用

sbt-package

命令编译了这个脚本。如何设置Scala脚本的正确配置以在IntelliJ IDE中运行脚本？目前，我正在使用命令行和以下命令来运行它（例如，我想在IntelliJ中运行以进一步调试）：

~/spark-1.2.0/bin/spark-submit--class“CoinPipe”target/scala-2.10/CoinPipe_2.10-1.0.jar/training/data/dir 7 12

下面是我试图做的一个快照：

尝试以下步骤：

安装sbt插件：转到文件->设置->插件->安装IntelliJ插件->搜索并安装sbt

安装sbt插件后，重新启动intellij并启动新的Scala sbt项目（文件->新项目->Scala->sbt）

现在打开build.sbt文件并添加所有依赖项

现在在src->main->Scala中创建一个新的Scala类，并输入代码

右键单击并点击Run

---

注意：您可能希望在某个时候重新启动intelliJ，以从build.sbt文件中提取依赖项。

您可以将spark submit设置为一个。不过，它不会出现在“运行”菜单中。

我意识到这篇文章很旧，但我遇到了同样的问题，并找到了解决方案，所以我想把它发布在这里

• 使用主类创建java应用程序运行配置：

  org.apache.spark.deploy.SparkSubmit
  

• VM选项应至少包括spark conf和JAR的类路径：

  -cp "c:\spark\conf\;c:\spark\jars\*"
  

• 程序参数应包含jar文件作为第一个参数，然后是希望传递给程序的实际程序参数：

  yourapp.jar arg1 arg2
  

• 应将模块的Use classpath设置为您的模块

---

这里有一个两步解决方案，运行spark submit，然后在Intellij中运行调试器：我正确地选择了我的模块，但我的IDE显示“org.apache.spark.deploy.SparkSubmit未在模块中找到”。如何修复它？