如何在linux终端上运行spark scala程序?

如何在linux终端上运行spark scala程序?,linux,scala,apache-spark,terminal,apache-spark-sql,Linux,Scala,Apache Spark,Terminal,Apache Spark Sql,我用scala写了一个spark程序。现在我想运行我在终端中编写的脚本。在pyspark中,我使用spark提交python文件。现在我想对我的scala程序做同样的事情。我不想使用Intellij或在spark shell中编写程序。我只想在编辑器中编写代码,然后在终端中使用命令运行它。可能吗? 提前感谢您为您的代码创建一个JAR文件(JAR名称为HelloWorld.JAR)。您可以像下面的示例一样使用HDFS或本地路径 您可以在下面的命令中添加lot选项,这些命令可以在philantrov

我用scala写了一个spark程序。现在我想运行我在终端中编写的脚本。在pyspark中,我使用spark提交python文件。现在我想对我的scala程序做同样的事情。我不想使用Intellij或在spark shell中编写程序。我只想在编辑器中编写代码,然后在终端中使用命令运行它。可能吗?
提前感谢您

为您的代码创建一个JAR文件(JAR名称为
HelloWorld.JAR
)。您可以像下面的示例一样使用HDFS或本地路径

您可以在下面的命令中添加lot选项,这些命令可以在philantrovert在注释中给出的url中找到

在本地模式下运行

spark-submit --class path.to.YourMainClass  --master local[*] /path/to/your/jar/HelloWorld.jar
以群集模式运行

spark-submit --deploy-mode cluster --class path.to.YourMainClass  --master yarn hdfs://nameservice1/hdfsPath/to/your/jar/HelloWorld.jar

为您的代码创建一个JAR文件(JAR名称为
HelloWorld.JAR
)。您可以像下面的示例一样使用HDFS或本地路径

您可以在下面的命令中添加lot选项,这些命令可以在philantrovert在注释中给出的url中找到

在本地模式下运行

spark-submit --class path.to.YourMainClass  --master local[*] /path/to/your/jar/HelloWorld.jar
以群集模式运行

spark-submit --deploy-mode cluster --class path.to.YourMainClass  --master yarn hdfs://nameservice1/hdfsPath/to/your/jar/HelloWorld.jar

您需要创建一个JAR。看,您需要创建一个JAR。再见,谢谢。“path.to.YourMainClass”到底是什么?我应该用什么来代替它呢?如果创建程序的包是org.myprograms,而主类是MainClass,那么它应该是类的完整包名和类名。。。。给org.myprograms.mainClass谢谢。“path.to.YourMainClass”到底是什么?我应该用什么来代替它呢?如果创建程序的包是org.myprograms,而主类是MainClass,那么它应该是类的完整包名和类名。。。。给org.myprograms.main类