Java 加入“火花”；图书馆；加入Scala项目

我正在阅读一本书，作者遗漏了为Spark项目提供Scala库的部分。比如

import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf

不工作（在apache上失败）

我对Scala（以及一般的JVM语言）还不熟悉，甚至不知道要搜索什么。我应该找罐子吗？我将如何添加它们？如果这有助于解释的话，我正在使用intelliJ

我确实运行了spark，所以我认为我需要安装的是scala的“客户端”spark库

因此，使用下面的答案，我现在更接近（使用sbt），但我有以下错误：

build.sbt现在是：

name := "gettingThingsRunning"

version := "1.0"

scalaVersion := "2.12.1"

libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % "1.5.1",
  "org.apache.spark" %% "spark-sql" % "1.5.1" )

---

您需要使用依赖关系管理器，如Maven或sbt

使用sbt，您可以在项目根文件夹中添加

build.sbt

文件，如下所示：

name := "Simple Project"

version := "1.0"

scalaVersion := "2.11.7"

libraryDependencies += "org.apache.spark" %% "spark-core" % "2.0.2"

然后，您可以使用IntelliJ的Scala插件“刷新”项目并重新索引依赖项

编辑： 假设您使用SBT选项创建了项目，您可以使用侧栏中的SBT功能刷新依赖项：

关于Spark，我建议阅读，特别是“自包含应用程序”一节

对于IntelliJ和SBT项目，我相信您会从阅读以下页面中获益：

---

将您的

scalaversation

更改为

2.11.8

。请参阅详细信息。

请考虑阅读Spice快速启动页面：导入外部库的最佳方法是使用诸如<代码> [SBT]之类的构建工具。http://www.scala-sbt.org/)。在构建时，您将有权访问这些库。然而，要实际运行构建的项目，您还需要一个spark环境configured@Bren如果你已经创建了SBT项目，你能显示你的build.SBT吗？@YoungSpice刚刚补充道。我怀疑版本冲突。您介意详细说明“刷新”步骤吗？谢谢你提供了有用的链接。@Bren，你在IntelliJ中创建了SBT项目吗？不，只是重新制作了它。谢谢你试着弄清楚所有的东西都到哪里去了。@Bren，我添加了更多的信息和一些参考链接。我希望这能有所帮助。谢谢，我想我正在接近，尽管我有一个错误，如上所示。