Apache spark 在本地运行Spark，从sbt添加jar？

我已经在一个VM中安装了Spark 1.6（使用GettyImage），我想连接到该VM

我的Spark应用程序使用Cassandra，如果我使用setMaster（“local[2]”）运行它，它将运行得非常好。但是，如果我选择

setMaster(spark://localhost:7077)

（localhost在这里是我的Spark master的“地址”），它将在

java.lang.IllegalStateException: unread block data

例外。我发现有人有类似的问题，建议使用

addJar（…）

向SparkContext添加必要的库jar

目前，我使用sbt，我确实这样做了

libraryDependencies ++= Seq(
  "com.datastax.spark" %% "spark-cassandra-connector" % "1.6.0-M1"
)

例如，用于将Spark Cassandra连接器添加到上下文。但是，当使用sbt时，jar文件实际上并不在我的存储库中。另一方面，

addJar（…）

需要jar文件的路径

---

解决此问题的最佳方法是什么？

查看上的文档。基本上，您可以使用

--packages

命令行选项来执行

spark submit

，它可以实现您想要的功能

对不起，我听不懂。我不执行任何显式spark submit，但我启动应用程序，在其中创建一个

新的SparkConf（）

，并设置主程序。我所做的是完全错误的吗？也许--尝试使用

spark submit

。See工作得很好！谢谢现在我将尝试使用

sbt spark submit

从sbt运行它。