Spark、CLI和使用SBT构建

Spark、CLI和使用SBT构建,sbt,apache-spark,apache-spark-sql,Sbt,Apache Spark,Apache Spark Sql,我想基于ApacheSparkSQL构建一个简单的数据库。为此,我创建了一个apachesparksql项目,并编写了一些Scala类来执行一些计算。我希望使用CLI和/或JDBC接口运行Spark,并能够访问我编写的函数 我在IntelliJ中使用SBT构建和运行spark。如果我理解正确的话,这是必要的。因此,我已经添加到我的SBT构建文件中 scalacOptions ++= Seq("-Pyarn", "-Phadoop-2.3", "-Phive", "-Phive-thriftser

我想基于ApacheSparkSQL构建一个简单的数据库。为此,我创建了一个apachesparksql项目,并编写了一些Scala类来执行一些计算。我希望使用CLI和/或JDBC接口运行Spark,并能够访问我编写的函数

我在IntelliJ中使用SBT构建和运行spark。如果我理解正确的话,这是必要的。因此,我已经添加到我的SBT构建文件中

scalacOptions ++= Seq("-Pyarn", "-Phadoop-2.3", "-Phive", "-Phive-thriftserver")

但是,我得到了一个错误的选项。如何编译和组装项目以及如何继续运行CLI?

首先,您可能会发现在运行JVM时分叉JVM很有用。如果是,请添加此设置:

运行中的fork:=true

无论哪种方式,要在运行时将选项传递给JVM,请使用以下示例:

运行++=Seq-Xmx8G中的javaOptions

请注意,scalacOptions只影响编译

什么是p。。。你打算怎么做?我对他们不熟悉。请注意,如果它们应该传递给shell脚本,则不会发生这种情况,因为您直接调用JVM。

显然,-p选项表示Maven概要文件;我在[Documentation]{}中找到了这个,但是,这里显示的示例对我来说并不适用。